爬虫用了几下就被网站屏蔽了，如何降低爬虫的识别率？ about 58housesearch HOT 1 CLOSED

额，我这边挂在网上这么久了，访问量高峰的时候一天几百次访问，每次访问累及爬他们的页面20+，这样也没被屏蔽...你这边几次就被屏蔽了？不怎么可能吧。
爬虫策略是有的，如下：
1、粗暴做法是换代理IP，通过代理IP访问，不过被识别出来之后，还是GG；
2、好点做法是通过cookie或者session伪装成正常用户访问，这样一般都不会被禁了，如果是定时的话，还是可能被发现然后被禁的，这个做法结合代理IP做起来已经很不错的；
3、最好的做法是挖出他们的后台API，post或者get传入参数获取到数据。

当然，由于不可描述的原因...
1、2我都还没做，做法3在衣衣的帮助下已经做了一部分了，但是还没正式上线。
API的代码在这里：https://github.com/liguobao/58HouseSearch/tree/master/HouseCrawler.Core/Crawlers,有兴趣可以看看。

@youngjeff

from 58housesearch.