brianway / webporter Goto Github PK
View Code? Open in Web Editor NEW基于 webmagic 的 Java 爬虫应用
基于 webmagic 的 Java 爬虫应用
作者您好,我们也是一家专业做IP代理的服务商,极速HTTP,想跟您谈谈是否能够达成商业推广上的合作。如果您,有意愿的话,可以联系我,微信:13982004324 谢谢(如果没有意愿的话,抱歉,打扰了)
现在知乎已经加上反爬的功能了,如何破解,我每次爬一会就把账号给冻结了
我之前也做过一个爬虫的小项目,你说的该项目的特点挺好的,但是就我个人而言,不是非常在意。感觉最关心的内容如下:
javascript 支持。很多网页,包括当当,苏宁等,有部分数据都是通过 javascript 渲染得到的,这个框架是否提供支持,可能这个是使用者应该做的,但是这种场景下,框架有和优势。
性能。对于一本的文本网页,其实性能都不是问题,主要和网速有关。但是在这种场景下:
1. 租的vps, 当然越便宜越好,性能也越差。
2. 起一个支持 javascript 的 core,耗内存非常严重(当然相对于租的 vps 而言)
这样一来性能就很敏感了,比起线程,我更倾向于协程。
反扒。这个真的是非常让人头疼的问题,之前做的最让人头疼的就是爬亚马逊。基本无解,但是对于豆瓣这种,应该还是可以解决的,这个框架是否有相应的应对措施?
这是我选择一个爬虫框架考虑的点,省时、省钱、省事。不过作者这个框架确实是很与众不同的,支持!
能不能记录爬取的最后一个用户到某个文件中,下次再运行的时候读取保留的信息,继续爬取。
由于爬取过程比较漫长,能够实现本次终止爬取后,下次能够继续爬取就很方便了。
如题,只找到了login字段,但是不对,用起来就401
请问您使用的fastjson版本是多少?在运行这个程序时遇到了"Exception in thread "main" com.alibaba.fastjson.JSONException: unclosed string : z"的问题
WARN us.codecraft.webmagic.downloader.HttpClientDownloader(HttpClientDownloader.java:198) ## Charset autodetect failed, use UTF-8 as charset. Please specify charset in Site.setCharset()
文档里说,依次运行 webporter-collector-zhihu 模块的下面两个类的 main 方法,我倒入eclips后,提示缺少很多依赖包,请问有便捷的方式启动吗
17-05-08 17:36:43,075 WARN us.codecraft.webmagic.downloader.HttpClientDownloader(HttpClientDownloader.java:100) ## code error 403 https://www.zhihu.com/api/v4/members/li-bo-xun-19/followees?include=data%5B*%5D.url_token&offset=0&per_page=30&limit=30
A declarative, efficient, and flexible JavaScript library for building user interfaces.
🖖 Vue.js is a progressive, incrementally-adoptable JavaScript framework for building UI on the web.
TypeScript is a superset of JavaScript that compiles to clean JavaScript output.
An Open Source Machine Learning Framework for Everyone
The Web framework for perfectionists with deadlines.
A PHP framework for web artisans
Bring data to life with SVG, Canvas and HTML. 📊📈🎉
JavaScript (JS) is a lightweight interpreted programming language with first-class functions.
Some thing interesting about web. New door for the world.
A server is a program made to process requests and deliver data to clients.
Machine learning is a way of modeling and interpreting data that allows a piece of software to respond intelligently.
Some thing interesting about visualization, use data art
Some thing interesting about game, make everyone happy.
We are working to build community through open source technology. NB: members must have two-factor auth.
Open source projects and samples from Microsoft.
Google ❤️ Open Source for everyone.
Alibaba Open Source for everyone
Data-Driven Documents codes.
China tencent open source team.