文章目录

• • 前言
  • 1. 业务背景
  • 2. 日志数据集介绍
  • 3. 构建数据仓库
  • 4 数据预处理
  • 5 订单指标分析
  • 6 Sqoop数据导出
  • 7.数据导出操作
  • 8 Superset数据可视化
  • 总结
• 要下的配套资料，已经上传到百度网盘好了

大家好,我是 ChinaManor ,直译过来就是中国码农的意思,我希望自己能成为国家复兴道路的铺路人,大数据领域的耕耘者,平凡但不甘于平庸的人。

在这里插入图片描述

前言

作为技术人，我是不怎么八卦的，奈何这次国家重拳整理的是“大数据乱象”，manor作为大数据专业的学生，不得不关注此次的滴滴事件。

在这里插入图片描述

滴滴出行APP被下架，此时入职滴滴，好比49年加入国军～

在这里插入图片描述

但是，外面的世界不管怎么变化，掌握好技术是你安身立命的根本，接下来我们就来学习一下：数仓实战项目之滴滴出行 本课程会综合应用HDFS、Hive、SparSQL、Zeppelin、Sqoop、Superset等技术，结合滴滴出行的数据完成数仓实战。

滴滴出行实战需要的技术

在这里插入图片描述

滴滴出行项目可视化

在这里插入图片描述

因此，学习本课程，需要你具备以下技术的简单基础技能：

HDFS SparSQL Zeppelin Sqoop Superset 该实战项目能够教会你，如何做：

日志数据集 数据仓库构建 数据分区表构建 数据预处理 订单指标分析 Sqoop数据导出 Superset数据可视化 那么如何学习本课呢？ 一定要动手实践，在自己的电脑上完成。

接下来就开始学习吧！

1. 业务背景

1.1 业务介绍 滴滴拥有超过4.5亿用户，在中国400多个城市开展服务，每天的订单量高达2500W，每天要处理 的数据量4500TB。仅仅在北京，工作日的早高峰一分钟内就会有超过1600人在使用滴滴打车。通过对这些数据进行分析，了解到不同区域、不同时段运营情况。通过这些出行大数据，还可以看到不同城市的教育、医疗资源的分布，长期观察对城市经济、社会资源的发展、变迁情况，有非常有研究价值。 本次的案例将某出行打车的日志数据来进行数据分析，例如：我们需要统计某一天订单量是多少、 预约订单与非预约订单的占比是多少、不同时段订单占比等。最终效果如下：

在这里插入图片描述

1.2 架构图 要进行大规模数据分析，我们要考虑几个问题：

1. 打车的用户量非常庞大，数以亿记的用户将会有海量的数据需要存储。如何保存这些数据呢？
2. 为了方便对这些大规模数据进行处理、分析，我们如何建立数据模型，方便进行业务分析呢？
3. 亿级的数据如何保证效率，效率分析？
4. 数据分析的结果，应该以更易懂的方式呈现出现，如何展示这些数据？ 要解决这些问题，我们需要设计一套大数据架构来解决上述问题。

解决方案：

1. 用户打车的订单数据非常庞大。所以我们需要选择一个大规模数据的分布式文件系统来存储这些 日志文件，此处，我们基于Hadoop的HDFS文件系统来存储数据。
2. 为了方便进行数据分析，我们要将这些日志文件的数据映射为一张一张的表，所以，我们基于 Hive来构建数据仓库。所有的数据，都会在Hive下来几种进行管理。为了提高数据处理的性能。
3. 我们将基于Spark引擎来进行数据开发，所有的应用程序都将运行在Spark集群上，这样可以保证 数据被高性能地处理。
4. 我们将使用Zeppelin来快速将数据进行可视化展示。

在这里插入图片描述

2. 日志数据集介绍

2.1 日志数据文件 我们要处理的数据都是一些文本日志，例如：以下就是一部门用户打车的日志文件。

b05b0034cba34ad4a707b4e67f681c71,15152042581,109.348825,36.068516, 陕 西 省 , 延 安
市,78.2,男,软件工程,70后,4,1,2020-4-12 20:54,0,,2020-4-12 20:06
23b60a8ff11342fcadab3a397356ba33,15152049352,110.231895,36.426178, 陕 西 省 , 延 安
市,19.5,女,金融,80后,3,0,,0,,2020-4-12 4:04
1db33366c0e84f248ade1efba0bb9227,13905224124,115.23596,38.652724, 河北省 , 保 定
市,13.7,男,金融,90后,7,1,2020-4-12 10:10,0,,2020-4-12 0:29
46cfb3c4b94a470792ace0efdd2df11a,13905223853,113.837765,34.743035, 河 南 省 , 郑 州
市,41.9,女,新能源,00后,9,0,,0,,2020-4-12 1:15
878f401c9ca6437585ce1187053c220a,13905223356,113.837765,31.650084, 湖 北 省 , 随 州
市,35.6,男,教育和培训,80后,8,1,2020-4-12 1:06,0,,2020-4-12 4:35
44165cf545734bf6a114aa641479e828,15895252169,109.275236,34.255614, 陕 西 省 , 西 安
市,30.8,女,O2O,90后,8,0,,1,15152049060,2020-4-12 5:07

2.2 用户打车订单日志 每当用户发起打车时，后台系统都会产生一条日志数据，并形成文件。

b05b0034cba34ad4a707b4e67f681c71,15152042581,109.348825,36.068516, 陕西省 , 延 安
市,78.2,男,软件工程,70后,4,1,2020-4-12 20:54,0,,2020-4-12 20:06

这条日志包含了以下这些字段： orderId 订单id telephone 打车用户手机 long 用户发起打车的经度 lat 用户发起打车的纬度 province 所在省份 city 所在城市 es_money 预估打车费用 gender 用户信息 - 性别 profession 用户信息 - 行业 age_range 年龄段（70后、80后、…） tip 小费 subscribe 是否预约（0 - 非预约、1 - 预约） sub_time 预约时间 is_agent 是否代叫（0 - 本人、1 - 代叫） agent_telephone 预约人手机 order_time 订单时间

2.3 用户取消订单日志

在这里插入图片描述

当用户取消订单时，也会在系统后台产生一条日志。用户需求选择取消订单的原因。

在这里插入图片描述

2.4 用户支付日志

在这里插入图片描述

用户点击确认支付后，系统后台会将用户的支持信息保存为一条日志。

在这里插入图片描述

2.5 用户评价日志 用户评价日志：用户点击提交评价后，系统后台也会产生一条日志。 用户评价日志数据内容

在这里插入图片描述

3. 构建数据仓库

需要对日志文件的原始数据进行预处理，才能进行分析。

有这么几类数据要考虑：

原始日志数据（业务系统中保存的日志文件数据）

预处理后的数据

分析结果数据

这些数据通过Hive来进行处理，因为Hive可以将数据映射为一张张的表，然后就可以通过编写HQL来处理数据了，简单、快捷、高效。为了区分以上这些数据，我们将这些数据对应的表分别保存在不同的数据库中。

在这里插入图片描述

接下来就要创建三个数据库，分别用来管理每一层的表数据

在这里插入图片描述

在ods数据库中创建三种表单

创建用户打车订单表 创建取消订单表 创建订单表支付表 创建用户评价表

大规模数据的处理，必须要构建分区。

此处的需求每天都会进行数据分析（做的是离线分析），采用T+1的模式。

表加载数据的代码如下

在这里插入图片描述

4 数据预处理

预处理的需求

在这里插入图片描述

建宽表语句

在这里插入图片描述

预处理SQL语句

在这里插入图片描述

加载到宽表中

在这里插入图片描述

5 订单指标分析

需求：计算4月12日总订单笔数 1.编写HQL语句

select
 count(orderid) as total_cnt 
 dw_didi.t_user_order_wide 
where 
 dt = '2020-04-12’
;

1. app层建表

-- 创建保存日期对应订单笔数的app表
create table if not exists app_didi.t_order_total(
    date string comment '日期（年月日)',
    count integer comment '订单笔数'
partitioned by (month string comment '年月，yyyy-MM')
row format delimited fields terminated by ','
;

1. 加载数据到app表

insert overwrite table app_didi.t_order_total partition(month='2020-04')
select 
  '2020-04-12',count(orderid) as total_cnt
From  dw_didi.t_user_order_wide
Where   dt = '2020-04-12';

6 Sqoop数据导出

Apache Sqoop是在Hadoop生态体系和RDBMS体系之间传送数据的一种工具。来自于Apache软件基金会提供。 Hadoop生态系统包括：HDFS、Hive、Hbase等 RDBMS体系包括：Mysql、Oracle、DB2等。 Sqoop可以理解为：“SQL 到 Hadoop 和 Hadoop 到SQL”。

-- 创建目标数据库
create database if not exists app_didi;
-- 创建预约订单/非预约订单结果表
CREATE TABLE IF NOT EXISTS app_didi.t_order_subscribe_total(
DATE DATE COMMENT '日期',
subscribe_name VARCHAR(20) COMMENT '是否预约',
COUNT INT COMMENT '订单数量'
-- 创建不同时段订单占比分析结果表
CREATE TABLE IF NOT EXISTS app_didi.t_order_timerange_total(
DATE DATE COMMENT '日期',
timerange VARCHAR(20) COMMENT '时间段',
COUNT INTEGER COMMENT '订单数量'
-- 创建不同地域订单占比分析结果表
CREATE TABLE IF NOT EXISTS app_didi.t_order_province_total(
DATE DATE COMMENT '日期',
province VARCHAR(20) COMMENT '省份',
COUNT INTEGER COMMENT '订单数量'
-- 创建不同年龄段订单占比分析结果表
CREATE TABLE IF NOT EXISTS app_didi.t_order_agerange_total(
DATE DATE COMMENT '日期',
age_range VARCHAR(20) COMMENT '年龄段',
COUNT INTEGER COMMENT '订单数量'
);

7.数据导出操作

将Hive中的结果表导出到Mysql中 （非全部）

   #导出订单总笔数表数据
    bin/sqoop export \
    --connect jdbc:mysql://192.168.88.100:3306/app_didi \
    --username root \
    --password 123456 \
    --table t_order_total \
    --export-dir /user/hive/warehouse/app_didi.db/t_order_total/month=2020-04
    #导出预约和非预约订单统计数据
    bin/sqoop export \
    --connect jdbc:mysql://192.168.88.100:3306/app_didi \
    --username root \
    --password 123456 \

8 Superset数据可视化

Superset是一款开源的现代化企业级BI，是目前开源的数据分析和可视化工具中比较好用的，功能简单但可以满足我们对数据的基本需求，支持多种数据源，图表类型多，易维护，易进行二次开发。 它的特点如下： 1.丰富的数据可视化集 2.易于使用的界面，用于浏览和可视化数据 3.可提供身份验证 在真正开始利用Superset对数据可视化之前，要先将Superset连接据库，又称创建数据源。

实现步骤 1.创建看板 2.设置看板名字