phardye / crawl Goto Github PK

php爬虫系统

程序只支持CLI

安装程序

1.修改dbconfig.php成自己数据库配置

2.执行 php run install


安装完成后，需要添加来源站点及提取规则，setting, setting 表。

添加完使用来执行  php run run 1   (参数是 setting 表id)


程序相关功能

1.安装 php run install

2.执行 php run run 1

3.清除项目数据 php run clear


完整代码目录
│  crawl.sql
│  LICENSE
│  README
│  run       系统入口程序
│      
├─code
│  ├─config  配置文件
│  │      config.php
│  │      dbconfig.php
│  │      
│  └─library  类库
│      │  App.php
│      │  Crawl.php
│      │  CrawlCallback.php
│      │  Import.php
│      │  Loader.php
│      │  
│      └─db   数据库
│              MysqlPDO.php
│              
├─data   数据
│          
├─log    日志目录
│      
├─tmp
└─web     web目录