大数据综合练习题目

最新推荐文章于 2022-12-27 15:59:57 发布

大数据面试指南

最新推荐文章于 2022-12-27 15:59:57 发布

阅读量3k

点赞数 3

分类专栏： HBase 文章标签：大数据

本文链接：https://blog.youkuaiyun.com/czxylzl/article/details/103826465

版权

这是一个大数据综合练习，包括数据预处理、Hive中数据入库、查询分析及HBase存储。涉及数据清洗、Hive建表、数据导入、SQL查询以及HBase的映射与数据插入操作。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

本题是一个综合练习题目总共包括以下部分：

1.数据的预处理阶段

2.数据的入库操作阶段

3.数据的分析阶段

4.数据保存到数据库阶段

5.数据的查询显示阶段
给出数据格式表和数据示例，请先阅读数据说明，再做相应题目。

数据说明：

表1-1 视频表

在这里插入图片描述
表1-2 用户表

在这里插入图片描述

原始数据：

qR8WRLrO2aQ:mienge:406:People & Blogs:599:2788:5:1:0:4UUEKhr6vfA:zvDPXgPiiWI:TxP1eXHJQ2Q:k5Kb1K0zVxU:hLP_mJIMNFg:tzNRSSTGF4o:BrUGfqJANn8:OVIc-mNxqHc:gdxtKvNiYXc:bHZRZ-1A-qk:GUJdU6uHyzU:eyZOjktUb5M:Dv15_9gnM2A:lMQydgG1N2k:U0gZppW_-2Y:dUVU6xpMc6Y:ApA6VEYI8zQ:a3_boc9Z_Pc:N1z4tYob0hM:2UJkU2neoBs

预处理之后的数据：

qR8WRLrO2aQ:mienge:406:People,Blogs:599:2788:5:1:0:4UUEKhr6vfA,zvDPXgPiiWI,TxP1eXHJQ2Q,k5Kb1K0zVxU,hLP_mJIMNFg,tzNRSSTGF4o,BrUGfqJANn8,OVIc-mNxqHc,gdxtKvNiYXc,bHZRZ-1A-qk,GUJdU6uHyzU,eyZOjktUb5M,Dv15_9gnM2A,lMQydgG1N2k,U0gZppW_-2Y,dUVU6xpMc6Y,ApA6VEYI8zQ,a3_boc9Z_Pc,N1z4tYob0hM,2UJkU2neoBs

1、对原始数据进行预处理，格式为上面给出的预处理之后的示例数据。
通过观察原始数据形式，可以发现，每个字段之间使用“:”分割，视频可以有多个视频类别，类别之间&符号分割，且分割的两边有空格字符，同时相关视频也是可以有多个，多个相关视频也是用“:”进行分割。为了分析数据时方便，我们首先进行数据重组清洗操作。
即：将每条数据的类别用“，”分割，同时去掉两边空格，多个“相关视频id”也使用“,”进行分割

2、把预处理之后的数据进行入库到hive中

2.1创建数据库和表
创建数据库名字为：video
创建原始数据表：
视频表：video_ori 用户表：video_user_ori
创建ORC格式的表：
视频表：video_orc 用户表：video_user_orc
给出创建原始表语句

创建video_ori视频表：

create table video_ori(