一些照猫画虎的爬虫实例,参考了知乎上Dwzb大大的“爬虫系列”文章 其中包括了:
- demo 1: 使用Ulib库爬网页
- demo 5 :知乎使用Cookies反制知乎的反爬措施
- demo 5: 知乎 尝试使用标签定位元素
- demo 6: 贴吧 爬帖子和二级页面的所有楼
- demo 7: 贴吧 整理解析字段结果,保存为方便调取的JSON文件
- demo 9: 贴吧 修补了一些小Bug丰富了Parse字段的类型
- demo 10: 网易云音乐 尝试使用Requester+伪装爬网易云
- demo 11: 网易云音乐 尝试使用webdriver测试平台爬
- demo 12: 网易云音乐 增加了进入二级页面的选项
- demo 14: 网易云音乐 Refactoring + Debug
- demo 14: 政府招标:响应+解析
- demo 16: 政府招标:爬特定日期的所有网站(每日0:01运行),如果存在新的发布那就发邮件提醒
- demo 17: STMP发邮件实例
- demo 19: 将整理好的字典做入库处理(MongoDB)