stealthier-ai Goto Github PK

admin-finder

air-in-china

This project is to fetch data from the official Silverlight application of Ministry of Environmental Protection of China (http://106.37.208.233:20035/), which publish realtime air quality.

anaylsis-on-second-hand-houseing-price-from-anjvke

我通过爬虫爬取了来自安居客二手房网站中上海二手房的数据，并通过机器学习方法进行数据分析

anti-ip-attribution

针对部分网站显示IP归属地的流量分流规则

authority-data

官方权威数据：统计年签，统计公报，互联网行业报告，工信部数据，ICT报告等 Official authoritative data (Chinese)

autotle

自动化更新HAM常用的卫星TLE星历文件

baidu-wiki-500w

百度百科 500 万数据集

baidubaikespider

百度百科爬虫 爬取飞行器&船只 拓展爬取其他类型的关键字

baiduspider

BaiduSpider，一个爬取百度搜索结果的爬虫，目前支持百度网页搜索，百度图片搜索，百度知道搜索，百度视频搜索，百度资讯搜索，百度文库搜索，百度经验搜索和百度百科搜索。

baike-knowledgegraph

爬虫-百度百科-知识图谱探索

bankcardinfo

根据银行卡卡号查询银行类型和卡类型

baseproxy

Asynchronous HTTP/HTTPS proxy that intercepts and modifies messages(异步http/https代理,可拦截修改报文)

blasting_dictionary

爆破字典

car-maintain-system

本系统基于springboot + mybatis +jps架构开发，前后端分离，开发环境为jdk1.8、mysql、maven。系统功能主要分为汽车维修管理、配件管理、财务管理、基础数据管理、系统维护5大模块。

car_analyse_system_share

036 基于Python的汽车信息爬取与可视化分析系统-设计展示 这款汽车信息网站是基于多项技术和框架设计的全面的汽车信息展示及查询系统。其中，采用了Python Django框架和Scrapy爬虫技术实现数据的抓取和处理，结合MySQL数据库进行数据存储和管理，利用Vue3、Element-Plus、ECharts以及Pinia等前端技术实现了丰富的数据可视化展示和用户交互功能。 该系统主要包含以下几个模块： Scrapy爬虫：使用Scrapy框架抓取了“懂车帝”网站的汽车及销量数据，以及“车质网”的汽车投诉数据，并将这些数据存储进MySQL数据库中，为后续的展示和查询提供了数据基础。 条件选车模块：通过用户输入关键词、选择品牌、价格、燃料类型、座位、车型等条件，实现对车系的筛选，并提供

cctv-hack.py

144 countey cctv camra hacking

cesium-satellite

Cesium 卫星态势感知系统

china-region-data

**行政区域数据

china-regions

Data of China's Regions

chinageoinfo

The repo collects and tidies necessary chinese geographical information including provinces (political districts), counties and cities, boundaries, etc.

chinaxivcrawler_mnbvc

cloud_forecasting

卫星云图外推及其预测

cnemc

获取**环境总站 CNEMC 发布的实时空气质量数据

cnstats

获取**国家统计局网站数据。

company-crawler

天眼查爬虫&企查查爬虫，指定关键字爬取公司信息

coordinates-visualization

路测数据的可视化，通过获得基站的TAC, ECI, 经纬度获得lnglat，可选12种(公里桩，小汽车等等)不同的展示样式 经度、纬度、ECI、公里桩、TAC、轨迹类型、lnglat类方法，用的是火星坐标(高德地图)并附有坐标转换方法

coordtransform

坐标转换简化版 --- 用于百度坐标系(bd-09)、火星坐标系(国测局坐标系、gcj02)、WGS84坐标系的相互转换。仅使用Python标准模块，无其他依赖。

crawler

分布式爬虫crawler。搭建Master-Worker架构，实现规则引擎、采集引擎、数据清洗、数据存储、调度引擎等相关功能。

crawler-parallel

C语言并行爬虫（epoll），爬取服务器的16W个有效网页，通过爬取页面源代码进行确定性自动机匹配和布隆过滤器去重，对链接编号并写入url.txt文件，并通过中间文件和三叉树去除掉状态码非200的链接关系，将正确的链接关系继续写入url.txt

data-standardization

对中图分类号、国民经济行业分类与代码、国家标准统计用区划代码、国家标准学科分类代码的标准化整理，，爬取国家科技报告数据，并存入MySQL数据库。用到的技术：爬虫/pandas/机器学习