本项目《大数据处理技术导论》是Datawhale:whale:数据科学小组近期推动的一个重点项目。

当今的时代处处充斥着大数据的影子，大数据技术也为信息技术发展带来了重大的变革，并深刻影响着人们生活的方方面面。而我们旨在带领大家走进大数据时代的浪潮中，理解并能够使用目前主流的大数据处理架构Hadoop解决相应的问题，从小白到实践者。

🐳 推荐使用 Big Data Github在线阅读 或 Big Data Gitee在线阅读进行学习。

有配套代码的章节，可以在项目experiments目录的相应章节目录下面找到。

以下是目录，还等什么，学就完事了～

• 第一章：大数据概述
  • 1.1 大数据时代
  • 1.2 大数据的概念
  • 1.3大数据的应用
  • 1.4 大数据关键技术
• 第二章：Hadoop
  • 2.0 Hadoop的前世今生
  • 2.1 概述
  • 2.3 Hadoop的安装与使用
  • 2.4 本章小结
• 第三章：HDFS
  • 3.0 产生的背景
  • 3.1 概述
  • 3.2 HDFS的体系结构
  • 3.3 HDFS的存储原理
  • 3.4 HDFS的数据读写过程
  • 3.5 HDFS编程实战
  • 3.6 本章小结
• 第四章：HBase
  • 4.0 产生的背景
  • 4.1 概述
  • 4.2 HBase 数据模型
  • 4.3 HBase 的实现原理
  • 4.4 HBase 运行机制
  • 4.5 HBase 编程实战
  • 4.6 本章小结
• 第五章：MapReduce
  • 5.0 洋葱辣椒酱与MapReduce
  • 5.1 概述
  • 5.2 MapReduce的工作流程
  • 5.3 以Wordcount为例理解MapReduce
  • 5.4 本章小结
• 第六章：Hive
  • 6.0 数据仓库
  • 6.1 Hive 基本概念
  • 6.2 Hive 核心概念
  • 6.3 Hive 系统结构
  • 6.4 Hive 编程实战
  • 6.5 本章小结
• 第七章：Spark
  • 7.0 引言
  • 7.1 Spark 概述
  • 7.2 Spark 编程模型
  • 7.4 Spark 编程实战
  • 7.5 本章小结
• 第八章：大数据处理技术总结
  • 8.1 大数据技术框架综述
  • 8.2 大数据分析引擎的发展简史
  • 8.3 尾声

第二章以后的章节都配置有实验内容，使用Linux操作系统进行编程实战。

通过本教程的学习，你将能够学习到：

• 了解并描述大数据技术的应用场景，真实世界的大数据问题和方法的例子。
• 解释大数据4V的特性以及各种特性如何影响到数据的收集、监控、存储、分析和报告的方方面面。
• 识别大数据问题，并能够将问题转化为数据科学问题。
• 总结HDFS文件系统和MapReduce编程模型的特点和意义，以及它们与大数据的关系。
• 识别和利用数据科学生命周期和相关数据流中的各种组件，如HBase，Hive等。

1. 《大数据处理技术原理与应用 第三版》——林子雨
2. Big Data US SanDiego
3. 《Hadoop权威指南》
4. 《Hive编程指南》
5. 《维度建模权威指南(第3版)》
6. 《大数据处理之道》
7. 《Spark快速大数据分析》
8. 《Spark SQL内核剖析》

感谢以下Datawhale成员对项目推进作出的贡献(排名不分先后)：

扫描下方二维码关注公众号：Datawhale

  Datawhale是一个专注AI领域的开源组织，以“for the learner，和学习者一起成长”为愿景，构建对学习者最有价值的开源学习社区。关注我们，一起学习成长。

本作品采用知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议进行许可。