python3spiders / allnewsspider Goto Github PK

View Code? Open in Web Editor NEW

319.0 7.0 56.0 33.09 MB

澎湃新闻，新浪新闻，腾讯新闻，搜狐新闻，新闻联播，泰晤士报，纽约时报，BBCNews，旨在爬取所有新闻门户网站的新闻，禁止将所得数据商用！

License: Apache License 2.0

Python 100.00%

newsapi tencent sina sohu thetimes nytimes bbc-news crawler spider xwlb

allnewsspider's Introduction

env

必须是 python 3.6.6 64 bit windows/linux/mac

如果要爬取纽约时报，则需要使用urllib3的1.25.11版本，否则代理可能出错

intro

新浪新闻，腾讯新闻，搜狐新闻，澎湃新闻。

短期目前旨在爬取所有新闻门户网站的新闻，每个门户网站爬虫开箱即用，并自动保存到同目录下的 csv/excel 文件中，禁止将所得数据商用。

长期目标是打造一个信息流聚合平台，或者进行更高层面的比如社会舆情、新闻地理可视化等的处理。

集成该爬虫的网站已上线，体验地址：

~~https://xt98.tech:9494~~ http://buyixiao.xyz

http://8.142.38.214

项目长期维护，欢迎 star，项目更多信息欢迎关注个人微信公众号【月小水长】

how to use

每个文件夹下的代码就是对应平台的新闻爬虫

py 文件直接运行

pyd 文件需要，假设为 pengpai_news_spider.pyd

将 pyd 文件下载到本地，新建项目，把 pyd 文件放进去
项目根目录下新建 runner.py，写入以下代码即可运行并抓取
```
import pengpai_news_spider
pengpai_news_spider.main()
```

todo

1、百度新闻爬虫，已完成，已发布

2、澎拜新闻爬虫，已完成，已发布

3、腾讯新闻爬虫，已完成，已发布

4、新浪新闻爬虫，已完成，已发布

5、纽约时报爬虫，已完成，已发布

6、泰晤士报爬虫，已完成，已发布

7、BBC新闻爬虫，已完成，已发布

allnewsspider's People

Contributors

Stargazers

Watchers

allnewsspider's Issues

无法找到库文件，需要帮助

平台：vscode,liunx

程序：
import sys,os
sys.path.append("/othercode/lizi/1/AllNewsSpider/pengpai")
print(sys.path)
print(os.path.realpath('.'))
import pengpai_news_spider
pengpai_news_spider.main()
控制台：
(mypy366) coder@codercom-code-server1:/othercode/lizi/1/AllNewsSpider/pengpai$ /home/coder/micromamba/envs/mypy366/bin/python /othercode/lizi/1/AllNewsSpider/pengpai/runner.py
['/othercode/lizi/1/AllNewsSpider/pengpai', '/home/coder/micromamba/envs/mypy366/lib/python36.zip', '/home/coder/micromamba/envs/mypy366/lib/python3.6', '/home/coder/micromamba/envs/mypy366/lib/python3.6/lib-dynload', '/home/coder/micromamba/envs/mypy366/lib/python3.6/site-packages', '/othercode/lizi/1/AllNewsSpider/pengpai']
/othercode/lizi/1/AllNewsSpider/pengpai
Traceback (most recent call last):
File "/othercode/lizi/1/AllNewsSpider/pengpai/runner.py", line 13, in
import pengpai_news_spider
ModuleNotFoundError: No module named 'pengpai_news_spider'