python3spiders / allnewsspider Goto Github PK

百度新闻不能存储，只能运行出来几个新闻，怎么回事呢？

似乎无法识别pyd文件

其他的呢

@inspurer作者你好，非常感谢你的分享。
我注意到sina和tencent新闻爬取的分类只有科技、娱乐、军事和财经四类，我想请问有办法把所有的分类爬取下来吗，譬如体育、汽车、教育等等。另外，除了.pyd文件外，您可以分享下源码吗，谢谢。

平台：vscode,liunx

程序：
import sys,os
sys.path.append("/othercode/lizi/1/AllNewsSpider/pengpai")
print(sys.path)
print(os.path.realpath('.'))
import pengpai_news_spider
pengpai_news_spider.main()
控制台：
(mypy366) coder@codercom-code-server1:/othercode/lizi/1/AllNewsSpider/pengpai$ /home/coder/micromamba/envs/mypy366/bin/python /othercode/lizi/1/AllNewsSpider/pengpai/runner.py
['/othercode/lizi/1/AllNewsSpider/pengpai', '/home/coder/micromamba/envs/mypy366/lib/python36.zip', '/home/coder/micromamba/envs/mypy366/lib/python3.6', '/home/coder/micromamba/envs/mypy366/lib/python3.6/lib-dynload', '/home/coder/micromamba/envs/mypy366/lib/python3.6/site-packages', '/othercode/lizi/1/AllNewsSpider/pengpai']
/othercode/lizi/1/AllNewsSpider/pengpai
Traceback (most recent call last):
File "/othercode/lizi/1/AllNewsSpider/pengpai/runner.py", line 13, in
import pengpai_news_spider
ModuleNotFoundError: No module named 'pengpai_news_spider'

您好，尝试爬取纽约时报的时候，运行了一下就自动终止了。尝试过不同的关键词和起止日期，都是一样的错误（如图）

能否帮忙看下？谢谢

现在知道原因了，想问一下打包的时候用的python版本

python中报错"json.decoder.JSONDecodeError: Expecting value

一、澎湃新闻等spider可以设置关键字搜索吗？

二、百度新闻能否获取新闻全文？

谢谢！

您好，感谢构建爬虫。在使用thetime爬虫的时候已经把thetime_news_spider.pyd跟runner.py放到一个目录里面了，但是还是显示No module named 'thetime_news_spider'。求解答！

对作者这种做法感到十分不解。同时想提醒一下，pyd文件可以使用 rocky/python-uncompyle6 反编译得到py源码。