Multi-level url deduplication problem 多级url去重的问题 about python-bloomfilter HOT 2 OPEN

不太明白你这个分级是什么意思，bloom 你可以采用的办法就是提取相同的部分做过滤 例如 article.com/item/1 article.com/item/2 article.com/item/3...你直接存一个article.com/item/就行，每次来一个设置对应host的摘取规则取出article.com/item/ 去bloom 判断就行

from python-bloomfilter.

不太明白你这个分级是什么意思，bloom 你可以采用的办法就是提取相同的部分做过滤 例如 article.com/item/1 article.com/item/2 article.com/item/3...你直接存一个article.com/item/就行，每次来一个设置对应host的摘取规则取出article.com/item/ 去bloom 判断就行

他的意思应该是深度爬取的时候，一级url下边有很多层级的url，如果一级url被过滤，下边的url就无法爬取了，类似淘宝这种的：page1不会变，但是里边的详情页会变，需要不断重复爬取

from python-bloomfilter.