公司研发部不能上外网,但是公司又希望研发的同事能关注下新闻,了解科技热点,跟上时代潮流。
所以搭建了一个discuz论坛, 但内容匮乏。幸运的是搭这台论坛的服务器可以上网的(在两个网络里面)。所以想着要我做一个爬虫工具,通过rss把新闻内容,抓取过来放到公司论坛。
现在已经实现了,同时抓取多个网站上面的数据(IT之家,虎嗅网等等),只有文字没有图片。当然图片抓取,我也会尝试做出来。目前的效果还不错。
网络上关于RSS读取的文字特别多,但是关于rss中链接指向正文的抓取比较少,正好这几天做这样一个项目,现在把设计**和关键代码贴出来分享一下。
介绍此项目的blog地址:http://blog.csdn.net/kissliux/article/details/14227057