xatuxue / emotional_analysis Goto Github PK

View Code? Open in Web Editor NEW

[毕业设计]基于Spark网易云音乐数据分析【1.图计算 2.机器学习预测歌曲分类 3.评论词云 4.评论时间段 5.评论top榜 6.热歌top榜 7.用户性别比例 8.用户星座比例 9.用户年龄比例 10.用户全国地理分布 11.热评搜索等等..】

License: Apache License 2.0

JavaScript 26.54% Java 48.20% Scala 1.76% CSS 7.67% HTML 15.12% TSQL 0.71%

emotional_analysis's Introduction

emotional_analysis

基于Spark网易云音乐数据分析包含爬虫,Scala代码,Spark,Hadoop,ElasticSearch,logstash,Flume,echarts,log4j

emotional_analysis_spider 爬虫模块
emotional_analysis_web 数据处理模块(Scala代码)
emotional_analysis_recommend 推荐模块目前还未开发
emotional_analysis_web 报表展现模块

Crawler-sample-data 爬虫抓取样例数据
MySQL-yuncun MySQL数据库结构及数据
config ES logStash Flume 相关配置文件
mlib-text 机器学习分类测试相关数据
statistical-static-txt SparkSQL相关关联静态数据

分析内容
1.图计算
2.机器学习预测歌曲分类
3.评论词云
4.评论时间段
5.评论top榜
6.热歌top榜
7.用户性别比例
8.用户星座比例
9.用户年龄比例
10.用户全国地理分布
11.热评搜索等
1.图计算截图

2.评论词云截图

3.ES搜索页面截图

4.Spark 运行截图

5.Akkaban 提交程序截图

6.HDFS 目录数据截图

7.MySQL 表截图

Recommend Projects