Name: rickon
Type: User
Company: china resource company
Bio: I am currently in China resources group is responsible for the construction of data warehouse and data, the main research of artificial intelligence, the spark,
Location: shenzhen
rickon's Projects
hadoop各组件使用,持续更新
基于Docker构建的Hadoop开发测试环境,包含Hadoop,Hive,HBase,Spark
Hive作为Hadoop家族历史最悠久的组件之一,一直以其优秀的兼容性支持和稳定性而著称,越来越多的企业将业务数据从传统数据库迁移至Hadoop平台,并通过Hive来进行数据分析。但是我们在迁移的过程中难免会碰到如何将传统数据库的功能也迁移到Hadoop的问题,比如说事务。事务作为传统数据库很重要的一个功能,在Hive中是如何实现的呢?Hive的实现有什么不一样的地方呢?我们将传统数据库的应用迁移到Hive如果有事务相关的场景我们该如何去转换并要注意什么问题呢?
kudu学习的一些资料,以及和spark/impala的集成使用
Mastering Kafka Streams GitBook
Mirror of Apache Spark
Structured Streaming in Apache Spark 2.2+ GitBook
Materials (slides and code) for Spark Workshops
spark将hdfs数据高性能灌入kafka,然后spark streaming/structured streaming高速消费,关注性能,欢迎提供性能/代码优化建议