The bigdata-hub from fancychuan

fancychuan / bigdata-hub Goto Github PK

View Code? Open in Web Editor NEW

数据建设与大数据技术知识体系，包含hadoop、hive、spark、flink主流框架和系列框架，数据中台、数据湖、数据治理、数仓建设、数据化转型等

Java 61.69% Python 2.56% Jupyter Notebook 3.22% Shell 5.49% Perl 0.10% Scala 25.43% Mermaid 1.51%

bigdata-hub's Introduction

bigdata-hub

大数据相关的技术可以分为：传输、存储、计算三大方面

知识体系

基础框架
- hadoop：HDFS、MR、YARN及高级话题、企业优化
- hive：基础使用、优化、SQL编译过程、数据血缘、进阶、权限控制
  - hive优化
  - hivesql功力提升专项：各类难度较高的需求场景的实现方式
  - hive数据血缘
  - 数仓工作与建设
  - 数仓建模
- spark：spark-core、spark-sql、streaming、优化、进阶
- flink：flink基础知识、API、CEP、CDC、流式架构、案例实践
数据存储
- hbase：核心API、进阶、与Hive和MR集成、Phoenix集成
- kafka：命令行、API、企业级实战
- elasticsearch
- zookeeper
数据传输（数据交换、数据集成）
- datax
- sqoop
- flume
- seatunnel
- bitsail：字节开源的高性能数据集成引擎
大数据调度：满足复杂大规模作业的调度场景
第三方or商业集成技术
- aliyun-bigdata：阿里云大数据（包括DataWorks、MaxCompute等）
- DataSphere Studio：微众开源一站式数据平台（DataSphere Studio）
  - 计算中间件：linkis
  - 数据交换：exchangis
其他框架
- StreamPark：原名StreamX，是一个流处理应用程序开发管理框架
环境搭建
- apache版本搭建
- CDH集群搭建
- HDP集群搭建
- DataSophon：快速部署、管理、监控、自动化运维大数据服务组件和节点，用于快速构建大数据集群
大数据建设
- 可视化
- 标签/指标体系
- 数据质量
- 混合计算
- 实时数仓建设
- 元数据管理
  - 开源元数据管理平台
    - Apache Atlas
    - LinkedIn DataHub
    - Amundsen
    - Metacat
    - OpenMetadata
前沿
- 增强性数据分析
- 数据中台
- 数据湖
  - Hudi
- 湖仓一体Lakehouse
- DataOps：数据工程化
其他
- 数字化转型