爬取拉勾网任意职位信息保存至MongoDB
本项目中输入职位名称即可指定爬取的招聘职位信息,输入页数可爬去指定页数信息
注意:爬取太过频繁的话会出现“您访问太过频繁...”的页面,对此,在本项目中采用设置延迟的方法,解决了该问题,但是效率较低,若有更好的方式,欢迎交流(若运行中出现报错,则可能是延迟不够,可自行改变延迟时间,避开反爬,多数情况下重新运行即可。)
mrying / lagou Goto Github PK
View Code? Open in Web Editor NEW爬取拉勾网任意职位信息保存至MongoDB