kingking888 Goto Github PK

spider_12306

爬取12306网站

spider_captcha

网易易盾、极验等主流验证码破解。 已更新极验文字点选、极验滑动、极验语序、极验九宫格、易盾文字、易盾图标、易盾滑动、易盾乱序还原拼图、税务红黄蓝验证码、梦幻西游8位汉字识别、多种字符验证码。

spider_demo

个人爬虫、逆向练习代码，一点点总结上传。文书web、app；facebook

spider_draft

各种网站的登陆破解，仅供交流学习，包括：126邮箱,17173,189邮箱,360登录中心,37玩,39健康,51游戏,58同城,bilibili,YY直播,一加手机,**移动,九游,今日头条,企查查,优酷视频,信息公示系统,凤凰网,去哪儿,启信宝,和讯网,咪咕视频登录,唯品会,喜马拉雅,国美,大众点评,大麦网,天眼查,好豆菜谱,宜贷网,小米商城,开源**,微博,恒信易贷,房天下,搜房帮,搜狐,搜狐视频,搜狗翻译,斗鱼,新华电子邮局,易车网,有赞网,淘宝,爱企查,爱应用,猫眼,珍爱网,百家号,空中网,筑龙学社,粉笔网,纵横小说网,网易,美团,老k游戏,联通营业厅,聚惠商城,芒果TV,虎牙,豆瓣,途牛,逗游网,金牛理财,问卷星,阿里云,风行网,飞卢小说网,魅族、、、

spider_geetest

爬虫进阶-模拟geetest(极验)滑块验证

spider_img

Scrapy爬取妹子图片下载Demo

spider_news_all

Scrapy Spider for 各种新闻网站

spider_plus_fw

scrapy_plus, spider_plus, 仿 scrapy 爬虫框架

spider_project

爬虫项目（仅供参考学习，禁止违规使用！）

spider_python

python爬虫

spider_reverse

爬虫逆向学习

spider_template

基于scrapy-redis 实现的通过模板配置自动爬取数据的爬虫

spider_website

python爬虫，通过redis进行去重，通过IP动态代理、User-Agent进行反爬虫处理，同时利用Rule进行规则定义并使用Schedule定时器进行定时爬取。三方包：scrapy、schedule

spiderbook

<<python爬虫开发与项目实战>>书籍配套源码和说明

spiderip

ip代理池爬取 scrapy

spiderkeeper

admin ui for scrapy/open source scrapinghub

spiderman

基于scrapy-redis的通用分布式爬虫框架

spidermeizi

scrapy爬虫meizi图片

spidermon

Scrapy Extension for monitoring spiders execution.

spiderproxyha

给爬虫业务使用的代理ip池和MITIMProxy,浏览器群控、手机群控、js注入、代理高可用、代理session保持

spiders

A collection of web spiders .Most of these spiders are wrote in Python

spiders-1

微博关键词搜索爬虫、微博爬虫、链家房产爬虫、新浪新闻爬虫、腾讯招聘爬虫、招投标爬虫

spiders-2

模拟百度登陆，去哪儿航班爬虫，极验滑块，船讯网数据解密，大众点评登录，知乎登录，同盾滑块

spiderutilpackage

📦 原创开发的 爬虫实用工具 不断更新中.. 【特定代理池】【特定cookies池】【注册辅助工具】

splash

Lightweight, scriptable browser as a service with an HTTP API

sprider-taobao

spring-boot

Spring Boot

spring-boot-demo

spring boot demo 是一个用来深度学习并实战 spring boot 的项目，该项目已成功集成batis-aop(AOP自定义多数据源)、multi-datasource-mybatis(使用Mybatis集成多数据源)、quartz(定时任务)、rabbitmq-access(Rabbitmq手动确认模式)、rabbitmq-availability(RabbitMQ消息100%可靠性投递)、redis(单机||哨兵||集群||Lettuce)、RocketMQ-demo(RocketMQ，实现消息的发送和接收)、RocketMQ-shop-project(RocketMQ模拟电商网站购物)、Spring Security(实现动态权限的实现||Spring Cloud Security OAuth2)、websocket(服务端向客户端推送消息)。

spring-boot-demo-1

该项目已成功集成 actuator(监控)、admin(可视化监控)、logback(日志)、aopLog(通过AOP记录web请求日志)、统一异常处理(json级别和页面级别)、freemarker(模板引擎)、thymeleaf(模板引擎)、Beetl(模板引擎)、Enjoy(模板引擎)、JdbcTemplate(通用JDBC操作数据库)、JPA(强大的ORM框架)、mybatis(强大的ORM框架)、通用Mapper(快速操作Mybatis)、PageHelper(通用的Mybatis分页插件)、mybatis-plus(快速操作Mybatis)、BeetlSQL(强大的ORM框架)、upload(本地文件上传和七牛云文件上传)、redis(缓存)、ehcache(缓存)、email(发送各种类型邮件)、task(基础定时任务)、quartz(动态管理定时任务)、xxl-job(分布式定时任务)、swagger(API接口管理测试)、security(基于RBAC的动态权限认证)、SpringSession(Session共享)、Zookeeper(结合AOP实现分布式锁)、RabbitMQ(消息队列)、Kafka(消息队列)、websocket(服务端推送监控服务器运行信息)、socket.io(聊天室)、ureport2(**式报表)、打包成war文件、集成 ElasticSearch(基本操作和高级查询)、Async(异步任务)、集成Dubbo(采用官方的starter)、MongoDB(文档数据库)、neo4j(图数据库)、docker(容器化)、JPA多数据源、Mybatis多数据源、代码生成器、GrayLog(日志收集)、JustAuth(第三方登录)、LDAP(增删改查)、动态添加/切换数据源、单机限流(AOP + Guava RateLimiter)、分布式限流(AOP + Redis + Lua)、ElasticSearch 7.x(使用官方 Rest High Level Client)、HTTPS、Flyway(数据库初始化)、UReport2(**式复杂报表)。

spring-boot-quick

:herb: 基于springboot的快速学习示例,整合自己遇到的开源框架,如：rabbitmq(延迟队列)、Kafka、jpa、redies、oauth2、swagger、jsp、docker、spring-batch、异常处理、日志输出、多模块开发、多环境打包、缓存cache、爬虫、jwt、dubbo和Async等等:pushpin: