Z-Spider:一些爬虫开发的技巧和案例

• 抓包工具
  • Fiddler
  • Charles
  • mitmproxy
  • Wireshark
• 正则
  • 基础知识
  • 元字符和简写字符集
  • 贪婪模式,懒惰模式和独占模式
• xpath
  • 基础知识
• jsoup
  • 基础知识
• 构建js解析器
  • rhino+envjs
  • htmlunit+jsp
• cookie管理
  • 分布式爬虫cookie管理
  • 多域名cookie管理
• 滑块验证码
  • 拼图类滑块验证码
  • 拖动类滑块验证码
• 图形验证码
  • 数字英文类图形验证码
• 反编译
  • jadx-gui
• 中间人(mitm)
  • littleproxy
  • mitmproxy
  • servlet反向代理
• xposed
  • xposed插件
  • xposed脱壳
  • hook
  • virtualXposed(免root xposed)
• selenium
  • headlessChrome
  • phantomjs(版本已不再更新,一般不考虑使用)
• appium
  • appium环境搭建
• ActiveX控件(一般是银行的数据会采用ActiveX控件反爬,不建议分析了解即可)

• 官方文档

• 官方文档

• 官方文档

• 官方文档
• Wireshark 捕捉本地数据 --WinPcap切换NPcap
• 如何用 wireshark 抓包 TLS 封包

• 正则学习

• 元字符
• 简写字符集

• xpath语法
• xpath语法验证

• jsoup语法
• jsoup语法验证

• 移动图片和另一张图片拼完整得到x轴坐标差(java版)
• 移动图片和另一张图片拼完整得到x轴坐标差(python版)

• 拖动滑块至最右侧类滑块验证码

• 无干扰线无扭曲无交叠数字英文类图形验证码
• 两种方式识别“传统”图片验证码

• jadx-gui的高级技巧

• 官方文档

• 官方文档
• 使用mitmproxy+python做拦截代理
• 使用mitmproxy突破网站对selenium的屏蔽

• 使用教程

• Xposed+JustTrustMe关闭SSL证书验证

• 使用Xposed+FDex2插件脱壳

• XPosed入门与登陆劫持演示

• 官方文档
• 使用VirtualXposed进行hook

• java使用headless chrome
• java远程调用headless chrome

• java使用appium
• appium相关教程

👤zdg <[email protected]>

• Github: @zdg39

Contributions, issues and feature requests are welcome!
Feel free to check issues page.

Give a ⭐️ if this project helped you!

Copyright © 2019 zdg.
This project is MIT licensed.

This README was generated with ❤️ by readme-md-generator