- 👋 Hi, I’m @coopersong
- 👀 I’m interested in Golang, network, storage
- 🌱 I’m currently learning Elastic Search
- 💞️ I’m looking to collaborate on Go infra repo
coopersong / mini-spider Goto Github PK
View Code? Open in Web Editor NEW在调研过程中,经常需要对一些网站进行定向抓取。由于Go语言包含各种强大的库,使用Go语言做定向抓取比较简单。这是一个使用Go语言开发的迷你定向抓取器,实现对种子链接的抓取,并把URL长相符合特定正则表达式的网页保存到磁盘上。