- 此项目是很多以前写过的爬虫代码,或多或少的会有一些反爬措施。具体项目介绍分别在各个项目文件中。
- 因为爬虫代码可能会因为各种原因变得不能用,所以不能保证本项目中的代码是一直可用的。而且此项目中的代码一般情况下,我不会再维护。
requests、lxml、pymongo、sqlalchemy、scrapy
youzy_spider
优志愿官网- 大众点评评论 [大众点评手机版](<https://m.dianping.com/)
- 河北考生志愿填报系统 官方网址
- 某债券报网站 网址
- 小红书APP
- 京东B&O旗舰店 店铺地址
- IMDB 官方网址
- 电视猫爬虫 官方网址
- Alipay 支付宝公益平台
- qschou 轻松筹公益平台
部分项目中有数据采集需求文档以及说明文档,可根据文档充分理解爬虫代码。