lslone Goto Github PK

awesome-python

A curated list of awesome Python frameworks, libraries, software and resources

awesome-spider

爬虫集合

big_data_architect_skills

一个大数据架构师应该掌握的技能

bloghelper

帮助国内用户写作的托盘助手，一键发布本地文章到主流博客平台（知乎、简书、博客园、CSDN、SegmentFault、掘金、开源**），剪贴板图片一键上传至图床（新浪、Github、图壳、腾讯云、阿里云、又拍云、七牛云）

crawler

spark和hive处理大数据demo

daily-summary

大数据相关知识总结 + demo

data-lineage-parent

数据血缘，Hive/Sqoop/HBase/Spark等，发送到kafka后，解析处理使用neo4j生成血缘

data-manager

超实用的hive表数据、分区，hdfs文件的自动化清理工具

dataquality

数据治理->数据质量

datax-cloud

智数通提供了元数据管理、数据标准管理、数据质量管理、主数据管理、数据集市管理、可视化图表看板、流程管理等微服务，是为数字化建设而生的企业级一站式数据治理平台。

dolphinscheduler

Apache DolphinScheduler is a distributed and extensible workflow scheduler platform with powerful DAG visual interfaces, dedicated to solving complex job dependencies in the data pipeline and providing various types of jobs available `out of the box`.

fastapi_plus

这是一个Python FastAPI项目工程库，包含DB、Redis、MongoDB、JSON等工具和基础服务类。

flume-source-taildir-recursive

Flume1.7.0 TaildirSource support monitor sub-directories recursivly

hive_tools

sql解析，hql解析，hive脚本转mysql,解析hive,sparkSql，ER图自动生成、Excel自动生成 大数据搬砖神器

hivemetamgr

hive仓库元数据管理系统

https-github.com-windyzj-gmall0218-parent

image_all

图床

ipdatabase

IP geolocation binary tree search

jusic-serve

一起听歌吧（同步点歌听歌）,多房间版本也已开源

jusic-serve-houses

一起听歌吧多房间版本（music.alang.run）

jusic-ui

一起听歌吧前端

legoo

Legoo: A collection of automation modules to build analytics infrastructure

log_produce

模拟用户行为数据产生

logger

log2kafka

picx-images-hosting

PicX images hosting repository

py12306

🚂 12306 购票助手，支持集群，多账号，多任务购票以及 Web 页面管理

send_message_redis

spark-df-profiling

Create HTML profiling reports from Apache Spark DataFrames

spark-kompactor

Simple spark application to merge small files of structured data underline Hive table.

sparkapps