yidao620c / core-scrapy Goto Github PK

python-scrapy demo

Shell 1.26% Python 98.74%

core-scrapy's Issues

定时爬取

你好，看到你说明中提到可以进行定期爬取内容，在代码中没有找到。我也遇到了这个问题，使用这种方法
d = runner.crawl(spider)
d.addBoth(lambda _: reactor.stop())，执行完成后下个时间点后开始后会报错，twisted.internet.error.ReactorNotRestartable求解

爬虫

Scrapy笔记02- 完整示例是不是教程有点乱啊？

Scrapy笔记02- 完整示例

这个里面的保存数据到数据库
是不是跟上面的不对应呢？！
huxiu_spider.py 和 article_spider.py是两个文件啊？！

一个PHPer表示懵逼了好久

这里的session_scope是干什么的呢？

python3不支持吗？python3环境下运行错误

 a = Article(url=item["url"],
                    title=item["title"].encode("utf-8"),
                    publish_time=item["publish_time"].encode("utf-8"),
                    body=item["body"].encode("utf-8"),
                    source_site=item["source_site"].encode("utf-8"))
        with session_scope(self.Session) as session: #这里
            session.add(a)

Recommend Projects