eindex / aiospider Goto Github PK

Dependabot couldn't authenticate with https://pypi.python.org/simple/.

You can provide authentication details in your Dependabot dashboard by clicking into the account menu (in the top right) and selecting 'Config variables'.

View the update logs.

单点 Redis 存放过量队列而且队列消耗速度过低的情况下，内存占用过多，导致在使用 bgsave 时，内存爆炸。

修复方案

• 更换爬虫队列中间件
• 优化 boolm 过滤器策略
• 更换爬虫去重中间件

测试了使用 mongodb 做去重的方案，会使用非常大量的内存，导致其他服务可用内存过小，放弃此方案。
认为需要精准去重还是应该使用Redis Set 集合，只保留需要的尽量少的需要部分即可大量减少内存消耗。
如果粗略去重或，可接受一定的数据损失，可使用 bloom filter 。

回传队列不必回传所有数据，当 Worker 单元发生阻塞时，会导致至大量的内存浪费，致使 Redis 内存被爆无法使用备份。
认为需要拆分 Worker 单元的处理以及解析。

可能会使用 MySQL 的 innoDB 来处理这个问题。