Gootworms
├─ conf
│  └─ config.yml //爬虫规则及数据库的配置文件
├─ Dockerfile   
├─ go.mod
├─ go.sum
├─ LICENSE
├─ main
├─ main.go
├─ README.md
├─ src
│  ├─ Data
│  │  ├─ Enum  //存放常量信息
│  │  │  └─ NodeConstants
│  │  │     └─ NodeConstants.go 
│  │  ├─ Job.go
│  │  └─ Result.go
│  ├─ Master
│  │  ├─ Master.go
│  │  └─ Master_test.go
│  ├─ Slave
│  │  ├─ Downloader
│  │  │  ├─ Downloader.go
│  │  │  └─ Downloader_test.go
│  │  ├─ Node
│  │  │  └─ NodeManager.go
│  │  └─ Spider
│  │     ├─ Spider.go
│  │     └─ Spider_test.go
│  └─ Utils  //工具类
│     ├─ ChromeDriverUtil
│     │  ├─ ChromeDriverUtil.go
│     │  └─ ChromeDriverUtil_test.go
│     ├─ ConfigUtil
│     │  ├─ ConfigUtil.go
│     │  └─ ConfigUtil_test.go
│     ├─ CronUtil
│     │  ├─ CronUtil.go
│     │  └─ CronUtilTest.go
│     ├─ DBUtils
│     │  ├─ MongoUtil
│     │  │  ├─ config.yml
│     │  │  ├─ MongoUtil.go
│     │  │  └─ MongoUtil_test.go
│     │  └─ RedisUtil
│     │     ├─ RedisUtil.go
│     │     └─ RedisUtil_test.go
│     ├─ HttpUtil  //Http解析
│     │  └─ DoRequest
│     │     ├─ DoRequest.go
│     │     └─ DoRequest_test.go
│     ├─ LinksUtil  //提取文本中的链接
│     │  ├─ config.yml
│     │  ├─ LinksUtil.go
│     │  └─ LinksUtil_test.go
│     └─ TaskUtil
│        ├─ TaskUtil.go
│        └─ TaskUtil_test.go
└─ TODO.md

go run main master

go run main worker