Giter Club home page Giter Club logo

0xqq / titandataoperationsystem Goto Github PK

View Code? Open in Web Editor NEW

This project forked from 233zzh/titandataoperationsystem

0.0 0.0 1.0 107.83 MB

《Titan数据运营系统》,本项目是一个全栈闭环系统,我们有用作数据可视化的web系统,然后用flume-kafaka-flume进行日志的读取,在hive设计数仓,编写spark代码进行数仓表之间的转化以及ads层表到mysql的迁移,使用azkaban进行定时任务的调度,使用技术:Java/Scala语言,Hadoop、Spark、Hive、Kafka、Flume、Azkaban、SpringBoot,Bootstrap, Echart等;

Home Page: https://blog.csdn.net/weixin_43124279/category_10041667.html

Scala 1.03% Java 1.63% JavaScript 80.86% CSS 2.65% Makefile 0.01% HTML 11.07% Shell 0.02% PHP 0.02% Python 0.23% CoffeeScript 0.53% Less 0.32% SCSS 1.63% Handlebars 0.01%

titandataoperationsystem's Introduction

TitanDataOperationSystem

概览

《Titan数据运营系统》,本项目所适用的行业或业务背景有: 主营业务在线上(app/网站)进行的公司! 这类公司,都需要针对用户的线上访问行为、消费行为、业务操作行为进行统计分析,数据挖掘!以 支撑公司的业务运营、精准画像营销、个性化推荐等,来提高业务转化率,改善公司运营效果! 这些需求,都需要通过构建一个综合数据处理系统来支撑!

本项目是一个全栈闭环系统,我们先用flume-kafaka-flume对埋点日志服务器中日志进行读取,然后将日志放到我们的hdfs,然后在hive设计数仓,编写spark代码进行数仓表之间的转化以及ads层表到mysql的迁移,之后使用azkaban进行定时任务的调度,最后我们将mysql存的报表数据以web的形式展现出来。使用技术:Java/Scala语言,Hadoop、Spark、Hive、Kafka、Flume、Azkaban、SpringBoot,Bootstrap, Echart等。

项目的web展示:http://www.superhao.top:12121/src/material/installation.html 启动很慢,而且因为数据的原因会报错,建议到本文档底部去看web界面的展示

请注意:1. 我们所拥有的数据从2020.5.25-2020.7.20,但是我们网页一进去他默认日期会选择今天前七天的日期---今天的日期(比如8.01-8.08),所以一定会报错,请手动选择日期在5.25-7.20之间

2. 我们的网站部署到阿里云的学生机,所以会很慢,请耐心等待,谢谢

博客地址:https://zihao.blog.csdn.net/category_10041667.html

功能模块划分

在这里插入图片描述

系统架构设计

在这里插入图片描述

系统业务流程

在这里插入图片描述

数仓分层设计和spark定时任务

在这里插入图片描述

spark任务之间的依赖关系

在这里插入图片描述

azkaban定时任务调度

在这里插入图片描述

web界面展示

一、概况模块

整体趋势页面

在这里插入图片描述 在这里插入图片描述

二、用户分析模块

新增用户页面

在这里插入图片描述

活跃用户页面

在这里插入图片描述

启动次数页面

在这里插入图片描述

版本分布页面

在这里插入图片描述

三、留存分析模块

留存用户页面

在这里插入图片描述

用户新鲜度页面

在这里插入图片描述

用户活跃度页面

在这里插入图片描述

四、渠道分析模块

渠道列表页面

在这里插入图片描述

五、用户参与度模块

使用时长页面

在这里插入图片描述

使用频率页面

在这里插入图片描述

访问页面

在这里插入图片描述

访问间隔

在这里插入图片描述

六、终端属性模块

设备终端页面

在这里插入图片描述

网络页面

在这里插入图片描述

地域页面

在这里插入图片描述

titandataoperationsystem's People

Contributors

233zzh avatar

Forkers

singmoonshell

Recommend Projects

  • React photo React

    A declarative, efficient, and flexible JavaScript library for building user interfaces.

  • Vue.js photo Vue.js

    🖖 Vue.js is a progressive, incrementally-adoptable JavaScript framework for building UI on the web.

  • Typescript photo Typescript

    TypeScript is a superset of JavaScript that compiles to clean JavaScript output.

  • TensorFlow photo TensorFlow

    An Open Source Machine Learning Framework for Everyone

  • Django photo Django

    The Web framework for perfectionists with deadlines.

  • D3 photo D3

    Bring data to life with SVG, Canvas and HTML. 📊📈🎉

Recommend Topics

  • javascript

    JavaScript (JS) is a lightweight interpreted programming language with first-class functions.

  • web

    Some thing interesting about web. New door for the world.

  • server

    A server is a program made to process requests and deliver data to clients.

  • Machine learning

    Machine learning is a way of modeling and interpreting data that allows a piece of software to respond intelligently.

  • Game

    Some thing interesting about game, make everyone happy.

Recommend Org

  • Facebook photo Facebook

    We are working to build community through open source technology. NB: members must have two-factor auth.

  • Microsoft photo Microsoft

    Open source projects and samples from Microsoft.

  • Google photo Google

    Google ❤️ Open Source for everyone.

  • D3 photo D3

    Data-Driven Documents codes.