foxgeek36 Goto Github PK

python-douyin

抖音无水印视频下载

python-spider

:rainbow:Python3网络爬虫实战：VIP视频破解助手；GEETEST验证码破解；小说、动漫下载；手机APP爬取；财务报表入库；火车票抢票；抖音APP视频下载；百万英雄辅助；网易云音乐下载；B站视频和弹幕下载；京东晒单图下载

python-spider-1

豆瓣电影top250、斗鱼爬取json数据以及爬取美女图片、淘宝、有缘、CrawlSpider爬取红娘网相亲人的部分基本信息以及红娘网分布式爬取和存储redis、爬虫小demo、Selenium、爬取多点、django开发接口、爬取有缘网信息、模拟知乎登录、模拟github登录、模拟图虫网登录、爬取多点商城整站数据、爬取微信公众号历史文章、爬取微信群或者微信好友分享的文章、itchat监听指定微信公众号分享的文章

python-spider-2

🌈Python3网络爬虫实战总结：scrapy框架使用、ip代理、打码平台、linux命令、数据库操作、自己工作中写的little tools...

python-web-scraping

python爬虫，包含大小项目

python3-concurrency

Python3爬虫系列的理论验证，首先研究I/O模型，分别用Python实现了blocking I/O、nonblocking I/O、I/O multiplexing各模型下的TCP服务端和客户端。然后，研究同步I/O操作（依序下载、多进程并发、多线程并发）和异步I/O（asyncio）之间的效率差别

python3-concurrency-pics-02

爬取 www.mzitu.com 全站图片，截至目前共5162个图集，16.5万多张美女图片，使用 asyncio 和 aiohttp 实现的异步版本只需要不到2小时就能爬取完成。按日期创建图集目录，保存更合理。控制台只显示下载的进度条，详细信息保存在日志文件中。支持异常处理，不会终止爬虫程序。失败的请求，下次再执行爬虫程序时会自动下载

python3-cookbook

《Python Cookbook》 3rd Edition Translation

python3-spider

Python爬虫实战 - 模拟登陆各大网站 包含但不限于：滑块验证、拼多多、美团、百度、bilibili、大众点评、淘宝，如果喜欢请start ❤️

python3webspider

《Python3网络爬虫开发实战》书稿

python_data_analysis_and_mining_action

《python数据分析与挖掘实战》的代码笔记

pythonbasic

平时工作中常用的Python零碎知识总结，爬虫学习总结与练习，Python数据分析学习总结

pythoncrawler

python爬虫笔记与实例

pythonspidernotes

Python入门网络爬虫之精华版

qccspider

企查查企业信息爬虫 ，企查查app每日新增企业抓取,可以进行每日的增量抓取、企业数据、工商数据等等。

recommended-books

计算机经典书籍推荐 部分书籍提供PDF下载

recsys_core

[电影推荐系统] Based on the movie scoring data set, the movie recommendation system is built with FM and LR as the core(基于爬取的电影评分数据集，构建以FM和LR为核心的电影推荐系统).

redisqueue

reids高并发队列(高并发爬虫利器)

rekcarc-tsc-uht

清华大学计算机系课程攻略 Guidance for courses in Department of Computer Science and Technology, Tsinghua University

reptile

🏀Python3网络爬虫 猫眼 腾讯视频 豆瓣 研招网 微博 笔趣阁小说 百度热点 B站 CSDN 网易云阅读 阿里文学 百度股票 今日头条 微信公众号 网易云音乐 拉勾 有道 unsplash 实习僧 汽车之家 英雄联盟盒子 大众点评 链家 LPL赛程 台风 阴阳师藏宝阁

requestium

Integration layer between Requests and Selenium for automation of web actions.

roncoo-pay

龙果支付系统（roncoo-pay）是国内首款开源的互联网支付系统，拥有独立的账户体系、用户体系、支付接入体系、支付交易体系、对账清结算体系。目标是打造一款集成主流支付方式且轻量易用的支付收款系统，满足互联网业务系统打通支付通道实现支付收款和业务资金管理等功能。

sacred

Sacred is a tool to help you configure, organize, log and reproduce experiments developed at IDSIA.

scrapy-redis_demos

:octocat: Python分布式爬虫学习笔记，各种Demo同步:cactus:

scrapy_book_code

《精通 Scrapy 网络爬虫》刘硕 书中源代码

scrapy_helper

Dynamic configurable crawl (动态可配置化爬虫)

scrapybook

精通Scrapy网络爬虫

scrapydownloadertest

Test Downloader Middleware of Scrapy

scrapysplashtest

scrapyuniversal