programming-with-love / skyeyesystem Goto Github PK

一个基于SpringBoot的全网热点爬虫项目
中文 · English

每天下午三点定时爬取全网热搜数据。包括

• 微博热搜
• B站热搜
• CSDN热搜
• 知乎热搜
• 今日头条
• 百度热搜

爬取数据之后

1. 会将原始数据存入MySQL。
2. 进行词频统计 存入Redis。

此处说明了如何快速的使用本项目

确保您的安装器是Maven

1. maven sync
2. 执行SQL脚本 SQL脚本
3. application中配置您的数据库地址
4. db/config中配置redis地址。
5. 启动即可。

执行HotSpotCrawlerTest.java

修改爬虫任务中的注解值即可。 接收标准的CRON参数。 可使用Cron在线表达式生成器 在线生成

@Scheduled(cron = "0 0 15 * * ?") // 每天下午3点执行
public void crawl(){
        ...
        }

贡献使开源社区成为一个学习、激励和创造的绝佳场所。非常感谢您所做的任何贡献。

1.fork项目

2.创建功能分支（git checkout-b Feature/AamazingFeature）

3.提交更改（git-Commit-m'添加一些AmazingFeature）

4.推送至分支（git Push origin feature/AamazingFeature）

5.打开拉取请求

基于MIT的许可证分发，传输请遵循相关开源协议: MIT许可证

• 杜少雄 [email protected]
• 微信: 15603430511
• 个人博客: https://shaoxiongdu.cn