MoxieSDK
的完整源码,可编译运行,仅供抓取学习和参考。下载apk!
魔蝎科技是一家专注于提供用户授权场景下的一站式SaaS工具的公司。
MoxieSDK
是其对外发布的接入demo,提供了多种数据(支付宝、淘宝、京东等)抓取和采集服务,通过服务端url回调的方式通知用户抓取结果。
出于兴趣和好奇,本着学习的态度,破解了所有源码。时隔一年放出,仅供学习参考。请勿以该代码谋取利益,本项目仅供学习,用户使用后出现任何损失,概不负责。
跟官网demo使用一致,内部关键代码有注释。
MoxieSDK前端的抓取业务主要有以下特点:
- JS-Native:MoxieSDK主要提供了前端的抓取方式,native响应事件、js控制流程,通过js的更新来应对线上的问题,不依赖发版。
- 高可用:抽象抓取的流程和底层依赖,Native(指Android和iOS)中根据抓取业务分了三大类,每一类中抽象了抓取过程中需要实现的环节。服务端根据业务请求下发不同的JS从而覆盖了20多个抓取的业务,代码复用性很高。
- 逆反扒技术:支付宝、微信、QQ邮箱等有严格的反扒策略(二维码、Android端ajax带包名、常用ip的检测等),SDK在抓取时对这些进行了破解或绕过。由于支付宝封了许多web页面和api(H5接口)所以不能像原来通过修改json_ua、form_tk等域信息来下载账单zip或通过ajax来抓取。但还有别的方式,不方便透露。