Hive之例题

最新推荐文章于 2026-01-01 22:46:12 发布
原创 最新推荐文章于 2026-01-01 22:46:12 发布 · 482 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hive #hadoop #数据仓库

本文通过Hive进行数据分析，包括用户访问数据的累计访问次数统计，京东店铺的UV和访问次数TOP3访客，以及蚂蚁森林的植物申领和低碳用户排名分析，涉及SQL查询和连续天数碳排放统计。 
1.统计视频观看数Top10
select
    videoId,
    rank()over(order by views desc)
from gulivideo_orc
limit 10
+--------------+----------------+
|   videoid    | rank_window_0  |
+--------------+----------------+
| dMH0bHeiRNg  | 1              |
| 0XxI-hvPRRA  | 2              |
| 1dmVU08zVpA  | 3              |
| RB-wUgnyGv0  | 4              |
| QjA5faZF1A8  | 5              |
| -_CSo1gOd48  | 6              |
| 49IDp76kjPw  | 7              |
| tYnn51C3X_w  | 8              |
| pv5zWaTEVkI  | 9              |
| D2kJZOfq7zk  | 10             |
+--------------+----------------+
2.统计视频类别热度Top10（类别热度：类别下的总视频数）
select
    videoId,
    category,    
    category_name
from gulivideo_orc
lateral view explode(category) gulivideo_orc_tmp as category_name
+--------------+-----------------------+----------------+
|   videoid    |       category        | category_name  |
+--------------+-----------------------+----------------+
| UDZQNy_xLFk  | ["News","Politics"]   | Politics       |
| dpCm6wTEM28  | ["News","Politics"]   | News           |
| dpCm6wTEM28  | ["News","Politics"]   | Politics       |
| XryvsJOIAKA  | ["Music"]             | Music          |
| WJLYuAofX3I  | ["News","Politics"]   | News           |
| WJLYuAofX3I  | ["News","Politics"]   | Politics       |
+--------------+-----------------------+----------------+

select
    category_name,
    count(t.videoId) h
from (select
    videoId,
    category,    
    category_name
from gulivideo_orc
lateral view explode(category) gulivideo_orc_tmp as category_name) t
group by category_name
order by h desc
limit 10
+----------------+---------+
| category_name  |    h    |
+----------------+---------+
| Music          | 179049  |
| Entertainment  | 127674  |
| Comedy         | 87818   |
| Animation      | 73293   |
| Film           | 73293   |
| Sports         | 67329   |
| Games          | 59817   |
| Gadgets        | 59817   |
| People         | 48890   |
| Blogs          | 48890   |
+----------------+---------+
3.统计出视频观看数最高的20个视频的所属类别以及类别包含Top20视频的个数
select
    videoId,
    views,
    category
from gulivideo_orc
order by views desc
limit 20
+--------------+-----------+---------------------+
|   videoid    |   views   |      category       |
+--------------+-----------+---------------------+
| dMH0bHeiRNg  | 42513417  | ["Comedy"]          |
| 0XxI-hvPRRA  | 20282464  | ["Comedy"]          |
| 1dmVU08zVpA  | 16087899  | ["Entertainment"]   |
| RB-wUgnyGv0  | 15712924  | ["Entertainment"]   |
| QjA5faZF1A8  | 15256922  | ["Music"]           |
| -_CSo1gOd48  | 13199833  | ["People","Blogs"]  |
| 49IDp76kjPw  | 11970018  | ["Comedy"]          |
| tYnn51C3X_w  | 11823701  | ["Music"]           |
| pv5zWaTEVkI  | 11672017  | ["Music"]           |
| D2kJZOfq7zk  | 11184051  | ["People","Blogs"]  |
| vr3x_RRJdd4  | 10786529  | ["Entertainment"]   |
| lsO6D1rwrKc  | 10334975  | ["Entertainment"]   |
| 5P6UU6m3cqk  | 10107491  | ["Comedy"]          |
| 8bbTtPL1jRs  | 9579911   | ["Music"]           |
| _BuRwH59oAo  | 9566609   | ["Comedy"]          |
| aRNzWyD7C9o  | 8825788   | ["UNA"]             |
| UMf40daefsI  | 7533070   | ["Music"]           |
| ixsZy2425eY  | 7456875   | ["Entertainment"]   |
| MNxwAU_xAMk  | 7066676   | ["Comedy"]          |
| RUCZJVJ_M8o  | 6952767   | ["Entertainment"]   |
+--------------+-----------+---------------------+
select
    t.videoId,
    category_name
from (select
    videoId,
    views,
    category
from gulivideo_orc
order by views desc
limit 20) t
lateral view explode(category) gulivideo_orc_tmp as category_name
+--------------+----------------+
|  t.videoid   | category_name  |
+--------------+----------------+
| dMH0bHeiRNg  | Comedy         |
| 0XxI-hvPRRA  | Comedy         |
| 1dmVU08zVpA  | Entertainment  |
| RB-wUgnyGv0  | Entertainment  |
| QjA5faZF1A8  | Music          |
| -_CSo1gOd48  | People         |
| -_CSo1gOd48  | Blogs          |
| 49IDp76kjPw  | Comedy         |
| tYnn51C3X_w  | Music          |
| pv5zWaTEVkI  | Music          |
| D2kJZOfq7zk  | People         |
| D2kJZOfq7zk  | Blogs          |
| vr3x_RRJdd4  | Entertainment  |
| lsO6D1rwrKc  | Entertainment  |
| 5P6UU6m3cqk  | Comedy         |
| 8bbTtPL1jRs  | Music          |
| _BuRwH59oAo  | Comedy         |
| aRNzWyD7C9o  | UNA            |
| UMf40daefsI  | Music          |
| ixsZy2425eY  | Entertainment  |
| MNxwAU_xAMk  | Comedy         |
| RUCZJVJ_M8o  | Entertainment  |
+--------------+----------------+
select
    t2.category_name,
    count(t2.videoId) c
from(select
    videoId,
    category_name
from (select
    videoId,
    views,
    category
from gulivideo_orc
order by views desc
limit 20) t
lateral view explode(category) gulivideo_orc_tmp as category_name
) t2
group by t2.category_name
+-------------------+----+
| t2.category_name  | c  |
+-------------------+----+
| Blogs             | 2  |
| Comedy            | 6  |
| Entertainment     | 6  |
| Music             | 5  |
| People            | 2  |
| UNA               | 1  |
+-------------------+----+
4.统计视频观看数Top50所关联视频的所属类别排序
select
    videoId,
    views,
    relatedid
from gulivideo_orc
order by views desc
limit 50
|   videoid    |   views   |                     relatedid                      |
+--------------+-----------+----------------------------------------------------+
| dMH0bHeiRNg  | 42513417  | ["OxBtqwlTMJQ","1hX1LxXwdl8","NvVbuVGtGSE","Ft6fC6RI4Ms","plv1e3MvxFw","1VL-ShAEjmg","y8k5QbVz3SE","weRfgj_349Q","_MFpPziLP9o","0M-xqfP1ibo","n4Pr_iCxxGU","UrWnNAMec98","QoREX_TLtZo","I-cm3GF-jX0","doIQXfJvydY","6hD3gGg9jMk","Hfbzju1FluI","vVN_pLl5ngg","3PnoFu027hc","7nrpwEDvusY"] |
| 0XxI-hvPRRA  | 20282464  | ["ut5fFyTkKv4","cYmeG712dD0","aDiNeF5dqnA","lNFFR1uwPGo","5Iyw4y6QR14","N1NO0iLbEt0","YtmGrR0tR7E","GZltV9lWQL4","qUDLSsSrrRA","wpQ1llsQ7qo","u9w2z-xtmqY","txVJgU3n72g","M6KcfOAckmw","orkbRVgRys0","HSuSo9hG_RI","3H3kKJLQgPs","46EsU9PmPyk","nn4XzrI1LLk","VTpKh6jFS7M","xH4b9ydgaHk"] |
select
    videoId,
    views,
    new_relatedid
from (select
    videoId,
    views,
    relatedid
from gulivideo_orc
order by views desc
limit 50
) t1
lateral view explode(relatedid) gulivideo_orc_emp as new_relatedid

+--------------+-----------+----------------+
|   videoid    |   views   | new_relatedid  |
+--------------+-----------+----------------+
| 8uwuLxrv8jY  | 4226517   | K6FJukNqMKc    |
| 8uwuLxrv8jY  | 4226517   | JojoMIZTr44    |
| 8uwuLxrv8jY  | 4226517   | XR8L2aVVq2A    |
| 8uwuLxrv8jY  | 4226517   | _zdT1IoScRE    |
| 8uwuLxrv8jY  | 4226517   | -0NOL61faoQ    |
| 8uwuLxrv8jY  | 4226517   | AW7Uyf0wtt0    |
| 8uwuLxrv8jY  | 4226517   | 8Ip854CID0I    |
| 8uwuLxrv8jY  | 4226517   | b_jvk2-6l58    |

select
    t2.new_relatedid,
    g.category
from(select
    videoId,
    views,
    new_relatedid
from (select
    videoId,
    views,
    relatedid
from gulivideo_orc
order by views desc
limit 50
) t1
lateral view explode(relatedid) gulivideo_orc_emp as new_relatedid) t2 join gulivideo_orc    g on t2.new_relatedid=g.videoId
+-------------------+-----------------------+
| t2.new_relatedid  |      g.category       |
+-------------------+-----------------------+
| DDbS8gsYJxM       | ["Music"]             |
| alNoySJDN0o       | ["Comedy"]            |
| oh0JK45D_ZM       | ["Music"]             |
| Mlsiw5lmEzw       | ["Comedy"]            |
| oHpMaoY7u5I       | ["Music"]             |
| iy6FKu0k4ok       | ["Music"]             |

select
    category_name,
    t3.new_relatedid
from(select
    t2.new_relatedid,
    g.category
from(select
    videoId,
    views,
    new_relatedid
from (select
    videoId,
    views,
    relatedid
from gulivideo_orc
order by views desc
limit 50
) t1
lateral view explode(relatedid) gulivideo_orc_emp as new_relatedid) t2 join gulivideo_orc g on t2.new_relatedid=g.videoId) t3
lateral view explode(t3.category) gulivideo_orc_emp1 as category_name
+----------------+-------------------+
| category_name  | t3.new_relatedid  |
+----------------+-------------------+
| Music          | oTPX1g7bmNo       |
| Music          | ZUoXtjXco2M       |
| Music          | wy9TiuZJpck       |
| Comedy         | l_bk1Vq6sZs       |
| Music          | rW1kZJQAtgM       |
| Entertainment  | jBfz3AZa3tU       |
| Entertainment  | o2JPmQ7iwU8       |
select
    t4.category_name,
    count(*)
from(select
    category_name,
    t3.new_relatedid
from(select
    t2.new_relatedid,
    g.category
from(select
    videoId,
    views,
    new_relatedid
from (select
    videoId,
    views,
    relatedid
from gulivideo_orc
order by views desc
limit 50
) t1
lateral view explode(relatedid) gulivideo_orc_emp as new_relatedid) t2 join gulivideo_orc g on t2.new_relatedid=g.videoId) t3
lateral view explode(t3.category) gulivideo_orc_emp1 as category_name) t4
group by t4.category_name
+-------------------+------+
| t4.category_name  | _c1  |
+-------------------+------+
| Animals           | 11   |
| Animation         | 47   |
| Autos             | 4    |
| Blogs             | 51   |
| Comedy            | 237  |
| DIY               | 14   |
| Entertainment     | 216  |
| Film              | 47   |
| Gadgets           | 22   |
| Games             | 22   |
| Howto             | 14   |
| Music             | 195  |
| News              | 24   |
| People            | 51   |
| Pets              | 11   |
| Places            | 12   |
| Politics          | 24   |
| Sports            | 19   |
| Travel            | 12   |
| UNA               | 13   |
| Vehicles          | 4    |
+-------------------+------+

select
    t5.category_name,
    t5.rank,
    rank()over(order by rank desc)
from(select
    t4.category_name,
    count(*) rank
from(select
    category_name,
    t3.new_relatedid
from(select
    t2.new_relatedid,
    g.category
from(select
    videoId,
    views,
    new_relatedid
from (select
    videoId,
    views,
    relatedid
from gulivideo_orc
order by views desc
limit 50
) t1
lateral view explode(relatedid) gulivideo_orc_emp as new_relatedid) t2 join gulivideo_orc g on t2.new_relatedid=g.videoId) t3
lateral view explode(t3.category) gulivideo_orc_emp1 as category_name) t4
group by t4.category_name) t5
+-------------------+----------+----------------+
| t5.category_name  | t5.rank  | rank_window_0  |
+-------------------+----------+----------------+
| Comedy            | 237      | 1              |
| Entertainment     | 216      | 2              |
| Music             | 195      | 3              |
| Blogs             | 51       | 4              |
| People            | 51       | 4              |
| Film              | 47       | 6              |
| Animation         | 47       | 6              |
| News              | 24       | 8              |
| Politics          | 24       | 8              |
| Games             | 22       | 10             |
| Gadgets           | 22       | 10             |
| Sports            | 19       | 12             |
| Howto             | 14       | 13             |
| DIY
最低0.47元/天 解锁文章
Hive 函数 + Shell编程的具体实践与运用
Python+大数据+数据分析+自动化+Vue组件开发
06-12 835
大数据开发，测试必备技能！
Hive-HiveQL练习题
weixin_45705483的博客
01-26 498
HiveQL练习题，思路，答案，每道题都跑出结果
使用 PHP 的 SimpleXML 扩展处理 YouTube 数据并将其集成到 PHP 应用程序中
IBM技术期刊
05-20 1765
YouTube 视频共享站点允许 Web 开发人员通过其基于 REST 的开发人员 API 访问公共内容。PHP 的 SimpleXML 扩展非常适合处理由这种 API 生成的 XML 提要，并使用它们构建定制的 PHP 应用程序。本文将向您介绍 YouTube Data API，演示如何使用它浏览用户生成的视频内容，访问视频元数据、评论和回复，并执行关键字搜索。 简介
基于Hive的对BiliBili用户信息进行数据分析
weixin_30413739的博客
06-21 1043
用户表字段信息： 1.查出前1000位用户的用户名，关注数和粉丝数。 2.查询关注数大于100的用户的用户名和关注数。 3.查询粉丝数大于100的用户的用户名，粉丝数。 4.查询id为1000的用户的用户名。 5.查询性别为女的用户的用户名。 select name,sex from bilibili_user where sex="'女'"; 6.查询性别为...
Hive实战之Youtube数据集
_朝和
07-19 2万+
使用Youtube视频数据集进行Hive实战演练
Hive| ETL清洗& 查询练习
weixin_30398227的博客
02-21 460
ETL清洗数据 导Jar包 <dependencies> <dependency> <groupId>log4j</groupId> <artifactId>log4j</artifactId> <vers...
日常小记之DBeaver简单使用操作
热门推荐
fenzhouzhen7118的博客
08-30 11万+
       本人电脑为win10系统。       之前连接数据库都使用navicat(用于连接mysql数据库得一个图像化数据库连接工具，非常简易好上手)但是由于此工具在执行delete from table/update table set column='value' 若在不加条件的情况下执行没有提示，维护人员日常维护时如果不小心就会导致出现事故。 简介：        因此应公司要...
Hive经典例题解析
qq_40976830的博客
10-18 845
1.第一题： sid name gender age academy dt chinese math english 95001 李勇 男 20 CS 2017-08-31 56 28 62 95002 刘晨 女 19 IS 2017-08-31 84 22 38 95003 王敏 女 22 MA 2017-08-31 38 80 82 95004 张立 男 19 IS 2017-08-31 39 65 4 95005 刘刚 男 18 MA 2018-08-31 18 28 79 95006
Hive的例题
奔赴彼岸
01-12 571
数据处理的方法论： 了解产品/运行的需求（需求解决什么问题？定义指标和口径（产品和需求方）） ->数据收集（数据准备，数据调研！！ 数据获取方式有：①接口调取QMQ kafka，进行消息队列获取②爬虫③从文件④关系型业务数据库⑤数据仓库ETL，注意倾向于从数据仓库中获取数据） -> 数据处理（数据清洗 ETL(数据的提取、转换、加载)，观察缺失值(NULL 或 空字符)，重复值(订单量重复统计->去重)，异常值（二分类变量中0，1出现其他类型，与产品方进行确认后剔除，合并多个数据集，数据类
hive20道查询例题
zzds111的博客
11-28 2510
网上很多数据库例题都有的两张表：emp和dept 表 员工信息表emp： 字段：员工id,员工名字,工作岗位,部门经理,受雇日期,薪水,奖金,部门编号 部门信息表dept： 字段：部门编号,部门名称,部门地点 英文名：DEPTNO,DEPTNAME,DEPTADDR 建表语句： create table emp( EMPNO int ,ENAME string ,JOB string ,MGR int ,HIREDATE string ,SAL i.
HiveSQL例题-常用函数与基础语法讲解
qq_39783601的博客
03-23 1794
我们通过一些简单的案例来讲解Hive的常用基础语法以及一些常用的函数。 学习目标： 1. 掌握HIVE基础语法、常用函数及其组合使用 2. 掌握一些基本业务指标的分析思路与实现技巧 1、基础语法： SELECT …A… FROM …B… WHERE …C… A：列名 B：表名 C：筛选条件 需求1： 某次经营活动中，商家发起了"异性拼团购"，试着针对某个地区的用户进行推广，找出匹配用户。 ...
Hive-窗口函数练习
m0_37689903的博客
09-30 301
本文主要介绍了开窗函数在具体问题的使用
五、Hive数据仓库应用之Hive函数（二）（超详细步骤指导操作，WIN10，VMware Workstation 15.5 PRO，CentOS-6.7）
weixin_42051846的博客
12-17 1165
Hive数据仓库应用实验之Hive函数（二），熟悉了解Hive的自定义函数，WIN10系统，虚拟机软件VMware Workstation 15.5 PRO，Linux版本CentOS-6.7，超详细步骤配图详解，对新手友好。
Flink Catalogs 元数据统一入口、JDBC/Hive/自定义 Catalog、Time Travel、Catalog Store 与监听器
hello.reader
12-31 511
Flink Catalog 是统一管理元数据的核心组件，提供跨存储系统的表、函数、数据库等元数据管理能力。本文介绍了 Flink Catalog 的核心价值、主要类型（内存/JDBC/Hive/自定义）、基本使用方法以及高级特性。重点内容包括：Catalog 的注册与切换机制、元数据操作 API、1.18 新增的 Time Travel 功能、Catalog 修改监听器以及持久化配置的 Catalog Store。文章还给出了平台化落地的实践建议，包括元数据对接、DDL 审计和历史查询等场景。Flink C
Ranger-HDFS与Hive配合改造字段级鉴权能力
最新发布
别人笑我太疯癫，我笑他人看不穿。
01-01 597
摘要： Hive在3.x版本缺乏完整的原生鉴权能力，其表级权限实际依赖HDFS路径权限控制。本文分析了Hive原生鉴权功能的局限性，包括仅支持元数据层级控制、无法防止用户绕过Hive直接操作HDFS等问题。同时指出即使使用Ranger-Hive插件也只能管控HiveServer2服务，无法实现完整的字段级权限控制。文章重点介绍了在最小改造成本下实现字段鉴权的方法，并对比了Hive自带权限管理的缺陷，如角色管理功能不完善、部分权限语句实际不可用等情况。最后强调要满足生产环境的多租户权限需求，必须对HDFS+H
Hive SQL与SQL不同处
2301_77574331的博客
01-01 281
：官方文档：(Hive内建了不少函数使用show functions查看当下可用的所有函数；通过describe function extended funcname来查看函数的使用方式。
【用户行为归因分析项目】- 【企业级项目开发第三站】模拟DIM层设备、应用数据加载到Hive
qq_40607631的博客
01-01 145
摘要：该项目实现了一个用户行为归因分析的数据仓库系统，包含设备维表和应用维表的数据生成与加载功能。核心类ProductDimData提供mockDeviceData()和mockAppData()方法模拟生成设备与应用数据，并通过loadDeviceData()和loadAppData()方法将数据加载到Hive表中。系统支持全量(overwrite)和增量(into)两种数据加载方式，设备信息包含品牌、型号、价格等字段，应用信息包含名称和类别。项目采用Scala语言开发，通过配置类DeviceAndApp
【Hive】Linux（CentOS7）下安装Hive教程
feizuiku0116的博客
12-31 1724
本文详细介绍了Hive 3.1.3在CentOS 7环境下的安装配置过程。实验使用3个节点（feilink1-3）搭建Hadoop 3.3.4集群，配置MySQL 8.0.29作为元数据库。重点包括：配置Hadoop代理用户、下载安装Hive、添加MySQL驱动、配置hive-site.xml文件、初始化元数据库（创建74张表），以及启动Hive服务（metastore和hiveserver2）。文中提供了完整的命令序列和配置文件内容，确保Hadoop与Hive的集成运行。
Hive系列：Hive 配置项详解
兴趣是最好的老师
12-31 498
用户定义的必须实现org.apache.hadoop.hive.ql.security.authorization.HiveMetastoreAuthorizationProvider接口；用户定义的要实现org.apache.hadoop.hive.ql.security.authorization.HiveAuthorizationProvider；用户定义的需要实现org.apache.hadoop.hive.ql.security.HiveAuthenticatorProvider；
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值