A file multiprocessdownloader written by Python,which can be used in some web crawler. #一个爬虫 我想加入进程加快下载速度,下载的文件保存在一个目录下。 #原理 爬取url,得到一个列表,放入一个文本文档或者数据库,之后使用多线程下载器下载。
linkinw / multiprocessdownloader Goto Github PK
View Code? Open in Web Editor NEWA file multiprocessdownloader written by Python,which can be used in some web crawler.