- golang练手项目,抓取网络上的百度网盘会员、迅雷会员....等账号
- 自动抓取网络代理,通过代理池抓取目标网站
- 代码仅供学习参考使用,请勿用于非法用途
- 代码仅供学习参考使用,请勿用于非法用途
- 代码仅供学习参考使用,请勿用于非法用途
- engine
- scheduler
- parser
- fetcher
- models
- proxy-pool
- http-server
- 相关依赖
gopm list
Dependency list (3):
-> github.com/PuerkitoBio/goquery
-> golang.org/x/net
-> golang.org/x/text
- 安装依赖
go get github.com/PuerkitoBio/goquery
go get golang.org/x/net
go get golang.org/x/text
- 编译
go build entry.go
Usage of ./entry:
-http-port int
HTTP服务端口 (default 8000)
-update
是否需要重新更新数据 (default true)
-worker-num int
普通worker数 (default 5)
-
抓取信息
./entry
-
不重新抓取,只展现已有账户
./entry -update=0
-
指定web-server端口
./enty -http-port=8111
-
查看获取账号,打开地址:http://localhost:8000/home