hive 项目实战 (1) 谷粒影音需求分析

最新推荐文章于 2025-09-12 10:55:25 发布
原创 最新推荐文章于 2025-09-12 10:55:25 发布 · 1.3k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

该博客介绍了在一个名为'谷粒影音'的项目中，使用Hive进行数据清洗和ETL处理的需求分析。数据源来自video.txt文件，包含了视频ID、上传者、视频年龄、类别、长度等信息。ETL需求包括：过滤字段不足10个的记录，将视频ID的分隔符从制表符改为'&'，以及去除视频类别ID中的空格。文中还提到了具体的代码实现。

 数据源 video.txt  

数据样例：

fQShwYqGqsw    lonelygirl15    736    People & Blogs    133    151763    3.01    666    765    fQShwYqGqsw    LfAaY1p_2Is    5LELNIVyMqo    vW6ZpqXjCE4    vPUAf43vc-Q    ZllfQZCc2_M    it2d7LaU_TA    KGRx8TgZEeU    aQWdqI1vd6o    kzwa8NBlUeo    X3ctuFCCF5k    Ble9N2kDiGc    R24FONE2CDs    IAY5q60CmYY    mUd0hcEnHiU    6OUcp6UJ2bA    dv0Y_uoHrLc    8YoxhsUMlgA    h59nXANN-oo    113yn3sv0eo
数据样例中的字段结构：

视频唯一 id    11 位字符串
视频上传者    上传视频的用户名 String
视频年龄   &nbs

最低0.47元/天 解锁文章
Hive案例项目实战
蔡政洁的博客
10-30 4082
目录一、案例项目实施方案二、 RegexSerDe处理数据三、数据拆分四、UDF数据转换五、数据分析六、 一、案例项目实施方案 拿到源数据access.log之后，准备工作如下： 1.数据进行预处理，加载hive表之前 >>MR程序处理 >>正则表达式(企业推荐） >>python脚本 2.表拆分，源数据不变，创建对应业务需求的字表 3.基于子表的基础之上： 3-1.数据文件存储格式:orc/parquet 3-2.数据文件压缩：snappy 3-3.m
hive实战项目：旅游集市数仓建设
thosakapie的博客
03-02 2034
停留点表dwm_staypoint_msk_d与用户画像维表dim_usertag_msk_m 通过mdn关联，按mdn、county_id、resi_county_id分组，使用calLength(grid_id, resi_grid_id) 传入网格id、居住地id，算出出行距离，并计算每个用户到每个县的累计出行时间，然后取出 累计时间最大值超过3小时（180分钟），出行距离大于10km的用户。按照业务划分，如流量、订单、用户等，生成字段比较多的宽表，用于提供后续的业务查询，OLAP分析，数据分发等。
大数据电商流量分析项目实战：Hive 数据仓库（三）
最新发布
yang_xs的博客（只讲干货）
09-12 1206
本文介绍了大数据电商实战项目的课程安排，重点讲解了Hive数据仓库的安装与配置。课程采用"实战拆解+技术落地"的方式，涵盖Hadoop、Hive、Spark SQL、Flume等核心技术，从数据采集到可视化分析全链路实践。Day3重点学习Hive的安装步骤，包括环境变量配置、MySQL元数据存储设置等核心操作，帮助学员掌握将结构化数据映射为数据库表并进行SQL查询的能力。课程强调实战性，适合希望提升大数据处理能力的开发者。
Hive实战
asd623444055的博客
03-16 3837
一.数据结构 1.video表 字段 备注 详细描述 video id 视频唯一id（String） 11位字符串 uploader 视频上传者（String） 上传视频的用户名String age 视频年龄（int） 视频在平台上的整数天 category 视频类别（Array<String>） 上传视频指定的视频分类 length 视频长度（Int） 整形数字标识的...
谷粒影音Hive需求分析
qq_39261894的博客
08-04 379
@HIve_guiliVideo 统计视频观看数Top10 select videoId, views from gulivideo_orc order by views desc limit 10; 统计视频类别热度Top10 SELECT hot, total_view FROM ( SELECT hot, ...
hive基础【hive项目实战】
weixin_43923463的博客
04-07 3801
一 数据结构 1 视频表 字段 备注 详细信息 video id 视频唯一id（String） 11位字符串 uploader 视频上传者（String） 上传视频的用户名String age 视频年龄（int） 视频在平台上的整数天 category 视频类别（Array） 上传视频指定的视频分类 length 视频长度（Int） 整形数字标识的视频长度 views 观看次数（Int） 视频被浏览的次数 rate 视频评分（Double） 满分5分 Rat
hive实战——谷粒影音
m0_45847655的博客
09-02 824
对于给定的video日志数据，先利用mapreduce程序进行数据清洗，把数据的存储格式按我们的要求存入文件。
大数据技术之-08-Hive学习-05-Hive实战之谷粒影音+常见错误及解决方案.docx
10-26
### 大数据技术之Hive学习—Hive实战之谷粒影音+常见错误及解决方案 #### 10.1 需求描述 本实战案例旨在通过对谷粒影音视频网站的大数据分析，提炼出一系列关键指标，包括但不限于视频观看数量、类别热度等Top N...
Hive学习笔记（十一）—— Hive 实战之谷粒影音
weixin_45417821的博客
10-25 916
文章目录10.1 需求描述10.2 项目10.2.1 数据结构10.2.2 ETL 原始数据10.3 准备工作10.3.1 创建表10.3.2 导入 ETL 后的数据10.3.3 向 ORC 表插入数据10.4 业务分析10.4.1 统计视频观看数 Top1010.4.2 统计视频类别热度 Top1010.4.3 统计出视频观看数最高的 20 个视频的所属类别以及类别包含Top20 视频的个数10.4.4 统计视频观看数 Top50 所关联视频的所属类别 Rank10.4.5 统计每个类别中的视频热度 To
Hive实战 | 谷粒影音案例
蕾欧娜与26的博客
06-17 649
上一篇博客介绍了Hive的蚂蚁森林实战案例，本篇博客是关于谷粒影音案例的实战。 数据结构 我们先看一下拿到的表以及字段。有两张表，第一张是视频表gulivideo_orc，第二张是用户表gulivideo_user_orc。具体数据结构如下表所示： 字段汇总如下： Table: gulivideo_orc 字段： videoid, uploader, age, category, length, views, rate, ratings, comments, relatedId Table: guli
Hive-实战之谷粒影音
weixin_34318956的博客
06-05 669
第10章Hive实战之谷粒影音 10.1 需求描述 统计硅谷影音视频网站的常规指标，各种TopN指标： --统计视频观看数Top10 --统计视频类别热度Top10 --统计视频观看数Top20所属类别 --统计视频观看数Top50所关联视频的所属类别Rank --统计每个类别中的视频热度Top10 --统计每个类别中视频流量Top10 --统计上传视频最多的用户Top10以及...
3.15-3.21 hive项目实战
weixin_30813225的博客
05-05 231
一、创建表并导入日志数据，引出问题##建表 hive (default)> create table IF NOT EXISTS default.bf_log_src( > remote_addr string, > remote_user string, > time_local st...
hive项目实战参考
蒯厅博客
08-13 393
hive项目实战参考
零基础班第十八课 - Hive项目实战
zhikanjiani的博客
09-16 2080
第一章：上次课回顾 第二章：离线处理过程中的大数据处理 2.1 数据准备 第一章：上次课回顾 零基础班第十七课 - hive进阶： https://blog.youkuaiyun.com/zhikanjiani/article/details/89416079 回顾： 1、上次课主要讲了建表语句中更为复杂的函数：array_type、map_type、struct_type； 2、除了直接启动Hive以外...
Hive大数据项目实践
caojianhua2018的博客
02-12 1868
在搭建了Hadoop和hive环境后，就可以使用hive来进行数据库相关操作了。Hive提供了hql（类sql）语句来操作，基本过程与mysql类似，区别的就是对于hive中的聚合操作，将使用hadoop底层的mapreduce进程来执行。 下面以一个游戏公司的游戏、用户等相关分析大数据业务为例，以Hive为工具来完成游戏活跃度、用户使用情况等的统计分析工作。 （1）数据的产生 因为获取游戏...
Hive项目实战笔记
Nube313的博客
04-14 477
Hive项目实战笔记 （本人的学习笔记，可转载但请跟我说一声并在引用文中说明出处，希望和大家共同进步
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值