hive-计算直播同时在线人数最大值

最新推荐文章于 2025-04-12 11:43:07 发布

@莫等闲

最新推荐文章于 2025-04-12 11:43:07 发布

阅读量2.1k

点赞数 4

分类专栏： Hive 文章标签： hive 大数据

本文链接：https://blog.youkuaiyun.com/Cloud_Wzh/article/details/127235408

版权

主播同时在线问题

如下为某直播平台主播开播及关播时间，根据该数据计算出平台最高峰同时在线的最多的主播人数。

思路：
1.将上线时间作为 +1，下线时间作为 -1
2.然后运用union all 合并两列
3.利用sum()  over()对其分区排序，求出不同时间段的人数（每一个时间点都会对应一个总在线人数）
4.对时间进行分组，求出所有时间点中最大的同时在线总人数

id		stt						edt
1001	2021-06-14 12:12:12		2021-06-14 18:12:12
1003	2021-06-14 13:12:12		2021-06-14 16:12:12
1004	2021-06-14 13:15:12		2021-06-14 20:12:12
1002	2021-06-14 15:12:12		2021-06-14 16:12:12
1005	2021-06-14 15:18:12		2021-06-14 20:12:12
1001	2021-06-14 20:12:12		2021-06-14 23:12:12
1006	2021-06-14 21:12:12		2021-06-14 23:15:12
1007	2021-06-14 22:12:12		2021-06-14 23:10:12

mkdir data

create database datahive;

use datahive;

drop table if exists test;

create table test(
    id string,
    stt Timestamp ,

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

@莫等闲

关注关注

4
点赞
踩
9

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
打赏
打赏
打赏举报

举报

专栏目录

HiveSQL某天每个直播间最大在线人数

科学的N次方

07-09

2072

一张表dwd_user_log 有如下字段： 1）直播间： live_id 2）用户:userid 3）时间戳:date_stamp 4）登陆类型:entry_type (登入in和登出out) 求某天每个直播间最大在线人数？ select live_id,max(total_users) max_total_users from ( select live_id ,userid ,date_stamp ,sum(ind) over (partition by live_id order by date_s

大数据面试SQL（二）：每天最高峰同时直播人数

Lansonli（蓝深李）的博客

08-07

836

1、首先对原始数据进行处理，生成主播上下播的日志数据，同时增加人数变化字段，主播上播为1，主播下播-1。新数据包含 user_name,action_time,day_time,change_cnt。有如下数据记录直播平台主播上播及下播时间，根据该数据计算出平台当天最高峰同时直播人数。查询每天同时最大人数，考察的是对拉链转化为日志的处理方式以及聚合函数的累积计算。这里用主播名称做统计，前提是主播名称唯一，不能出现重复，平台有名称重复验证。3、求取累计求和中的最大值，即为当天最高峰同时直播人数。

参与评论您还未登录，请先登录后发表或查看评论

Hive_SQL_复杂SQL_计算最大在线人数

迎难而上

06-13

5592

原文链接： 1.Hive SQL复杂场景实现(2) —— 实时/最大在线人数 https://blog.youkuaiyun.com/adrian_wang/article/details/89840671 背景之前遇到这个问题：，能不能用SQL求某一天哪个时刻进行中的订单量最多，这个数是多少？我寻思挺有意思，就细想了一下。其实思考下可以发现，如果要求一段时间内的同时处于服务过程中的最大订单量，相当于也要知道每个时刻的数量，所以求最大和求实时是等同的。这个问题在不同的业务场景下有不同的...

SQL题型——最大同时在线人数

最新发布

m0_46646094的博客

04-12

249

按时间排序：进一个+1，离开一个-1，利用窗口函数累计求和，同一时间有进有出，先进后出(先按时间排序再按计数排序(tag)uid：用户id in_time：进入时间 out_time：退出时间。思路：将用户进入的时间记为1(tag)，离开时间记为-1(tag)，union两张表；(先做标签再按序累加最后取累加最大值就是同时在在线最大人数)例：有一张用户在线记录表。

HiveQL 求每小时最高同时在线人数

sinat_41207450的博客

09-05

885

问题：用户登入、退出app的日志表，假设里面只有一天的数据，计算以下数据： 1、24个小时，每个小时的最高同时在线人数 2、当日的最高同时在线人数 3、当日的最高同时在线时间段

牛客SQL34：牛客直播各科目同时在线人数（最大值问题）

weixin_46429290的博客

05-06

2035

牛客SQL34：牛客直播各科目同时在线人数（最大值问题）内容目录牛客SQL34：牛客直播各科目同时在线人数（最大值问题）一、描述二、思路解析三、代码四、问题思考一、描述牛客某页面推出了数据分析系列直播课程介绍。用户可以选择报名任意一场或多场直播课。已知课程表course_tb如下（其中course_id代表课程编号，course_name表示课程名称，course_datetime代表上课时间）： course_id course_name course_datetime 1 P

Hive_SQL_计算同时最大在线人数

帅成一匹马

08-17

2852

题目假设我们的业务场景是回溯某一天的某游戏的最大同时在线人数，并有表connection_detail记录用户每一次上线和下线时间： user_id login_time logout_time dt 213142 2019-01-01 12:21:22 2019-01-01 13:45:21 20190101 412321 2019-01-01 13:35:11 2019-01-01 16:01:49 20190101 … …

同时在限人数(同时在线最大人数)

Taerge0110的博客

11-22

648

【代码】同时在限人数(同时在线最大人数)

SQL进阶技巧：直播同时在线人数问题分析 | 时点值状态分析

石榴姐yyds

07-11

4536

本文针对SQL统计同时在线人数问题进行了分析，利用累加器思想对该问题进行求解，最终划归为时序数据，进行时序数据分析（常用技巧：打标签，形成序列，多序列进行分析），最后利用sum() over()对标签进行累加求出当前在线人数。本题的思维方法值得借鉴，也可以与之前的文章统计断电次数及断电时长问题（https://blog.youkuaiyun.com/godlovedaniel/article/details/118027222）进行对比，形成此类问题统一的分析方法。本题最关键的点在于转换为时序数据及累加器的思想，望读者

尚硅谷大数据技术之Hive-04（面试题）1

08-03

然后，通过连接这个间隔表和主播记录，统计每个小时内同时在线的主播数量，找出最大值作为最高峰在线人数。这些题目展示了Hive在处理大数据时的能力，包括时间序列分析、数据分组、日期操作以及复杂逻辑的实现。...

大数据之-hive

weixin_43204767的博客

11-18

1838

1 hive环境搭建 2hive 安装 2.1 hive交互命令 1） “-e”不进入 hive 的交互窗口执行 sql 语句 [root@hadoop102 hive]# bin/hive -e “select * from test” 2） “-f”执行脚本中 sql 语句 bin/hive -f /opt/module/hive/datas/hivef.sql 主要运用写脚本时候使用的。 3 Hive数据类型 3.1 基本数据类型对于 Hive 的 String 类型相当于数据库的 varchar

计算直播间最高在线人数

zhang_zero的博客

12-21

2649

以下有一份直播间的数据 room_id user_id start_time end_time 001 23435 2021-11-01 12:09:23 2021-11-01 12:24:54 001 44625 2021-11-01 18:34:26 2021-11-01 19:35:13 002 35780 2021-11-01 16:24:43 2021-11-01 15:54:22 004 43325 2021-11-01 19:04:21 2021-11-01 21:

Hive SQL:某篇文章最大同时在线/阅读的人数

sinat_26269257的博客

12-20

335

场景逻辑说明：artical_id-文章ID代表用户浏览的文章的ID，artical_id-文章ID为0表示用户在非文章内容页（比如App内的列表页、活动页等）。（uid-用户ID, artical_id-文章ID, in_time-进入时间, out_time-离开时间, sign_in-是否签到）问题：统计每篇文章同一时刻最大在看人数，如果同一时刻有进入也有离开时，先记录用户数增加再记录减少，结果按最大人数降序。离开时间单拎出来，同时记为-1，聚合两个表，按时间排序。2、利用窗口函数对计数求累计和；

用hql求每天同时最大在线人数

大数据吧唧吧唧

02-25

1014

最近划水刷京东面试题，遇到一个看似简单的手写hql，大概题意如下：给定一个表event_log,字段有date,timestamp，event_name(只有login、logout两种)，user_id。用hql求每天同时最大在线人数细细琢磨，此题不简单！难度在于求的是同时在线的人数，而不是每天在线人数。

sql笔记:直播间最大人数

u013102054的博客

11-12

520

然后使用窗口函数，用live_id固定窗口，order by dt为浮动窗口对cnt进行累加。最后只需要对live_id分组，求max(人数)即可。

经典sql题（七）查找直播间最大在线人数

热门推荐

m0_58076578的博客

09-16

1万+

本文将详细介绍如何使用 SQL 的窗口函数和聚合函数，分析用户在房间中的状态变化，目标是计算每个房间指定时间段内的最大用户状态。

【MYSQL】实际业务问题（二）：直播间最大在线人数

m0_68231845的博客

03-18

274

本文将分享经典的SQL题，直播间最大在线人数，即分析用户在直播间的状态变化，目标是计算每个直播间指定时间段内的最大用户数

直播弹幕系统（三）- 直播在线人数统计

Zong_0915的博客

12-15

2672

上一篇文章整合RabbitMQ进行消息广播和异步处理写完了消息的广播、削峰、异步处理业务逻辑等操作。完成了实时共享功能。不过写到后面发现在线人数统计这块的功能还没实现，因此在这篇补上。目前的WebSocket写法实现只是一种方案，显然并不是最优解，也可能有更好的写法。后期准备尝试用Netty来平移替换。

SQL日志统计-视频同时观看最高人数

qq_44242891的博客

07-29

377

现有一份用户观看视频的日志数据，记录了用户观看或者关闭视频的时间点和行为类型，日志数据如下，请统计每个视频每天同时观看的最高人数。action_type : 1打开视频,0关闭视频。video_id:视频ID。3. 计算最大同时在线人数。user_id:用户ID。根据状态增加计数字段。

hive sql面试题

04-02

<think>嗯，用户想找Hive SQL相关的面试题和答案。首先，我需要回忆一下常见的Hive面试问题，比如窗口函数、数据转换、去重等等。根据提供的引用内容，看到有同时在线人数、行转列、列转行等问题。比如引用[1]中的同时在线人数计算，用到了UNION ALL和窗口函数sum() over()，这个应该是经典问题之一。还有引用[3]中的collect_list函数用来拼接字符串，这也是常见的行转列问题。引用[4]提到的split和explode则是列转行的例子。接下来需要整理这些问题，并给出对应的答案和示例代码。用户可能需要分点回答，结构清晰。比如第一个问题同时在线人数，需要步骤分解，说明如何将登录登出时间合并，然后用窗口函数累加。第二个问题行转列，用collect_list或者concat_ws。第三个问题列转行，用lateral view explode。第四个数据去重，可以用row_number或者group by。第五个连续登录，用日期差和分组统计。还要注意用户的系统级指令，比如数学公式用$...$，代码块正确使用格式，引用标记在末尾。比如在回答每个问题时，适当引用提供的参考资料，如[^1]、[^3]、[^4]等。同时生成相关问题，可能包括性能优化、其他函数应用、处理数据倾斜等。需要确保每个问题都有对应的SQL示例，并且代码正确。比如在同时在线人数的问题中，UNION ALL合并登录登出记录，然后sum(tag) over计算实时人数。在行转列中，collect_list和concat_ws的使用。列转行中的split和explode组合。还要注意用户提到的“生成相关问题”部分，需要列出几个相关的问题，比如优化方法、其他窗口函数应用、数据倾斜处理等，这样用户可以有进一步的学习方向。最后，检查是否所有引用都正确标注，答案是否符合中文要求，结构是否清晰，有没有遗漏常见的Hive面试题。可能需要补充一些其他常见问题，比如分区和分桶的区别、Hive和传统数据库的区别等，但根据提供的引用内容，主要围绕已有例子展开。</think>### Hive SQL 常见面试问题及答案 #### 1. **如何计算某时段内同时在线的最多人数？** **答案**：将登录时间标记为$+1$，登出时间标记为$-1$，合并后通过窗口函数累加计算实时人数。示例代码： ```sql WITH t1 AS ( SELECT login_ts ts, 1 AS tag FROM user_login_detail UNION ALL SELECT logout_ts ts, -1 AS tag FROM user_login_detail ) SELECT MAX(cn) AS max_online_count FROM ( SELECT SUM(tag) OVER (ORDER BY ts) AS cn FROM t1 ) t2; ``` **解析**： - 使用`UNION ALL`合并登录和登出动作的时间戳。 - 窗口函数`SUM(tag) OVER (ORDER BY ts)`按时间顺序累加人数，最终取最大值。 --- #### 2. **如何将多行数据合并为一行（行转列）？** **答案**：使用`COLLECT_LIST()`或`COLLECT_SET()`聚合函数，结合`CONCAT_WS()`拼接字符串。示例： ```sql SELECT user_id, CONCAT_WS(',', COLLECT_LIST(product_id)) AS purchased_products FROM purchase_table GROUP BY user_id; ``` **解析**： - `COLLECT_LIST`收集所有商品ID（允许重复），`COLLECT_SET`去重。 - `CONCAT_WS`用逗号分隔拼接结果。 --- #### 3. **如何将一行数据拆分为多行（列转行）？** **答案**：使用`LATERAL VIEW`与`EXPLODE()`函数展开数组。示例： ```sql SELECT name, subject_name FROM student_table LATERAL VIEW EXPLODE(SPLIT(subject_list, ',')) extend_sub AS subject_name; ``` **解析**： - `SPLIT(subject_list, ',')`将字符串转换为数组。 - `EXPLODE()`展开数组，`LATERAL VIEW`生成多行结果。 --- #### 4. **如何对重复数据进行去重？** **答案**：使用`ROW_NUMBER()`窗口函数标记重复项，或直接使用`GROUP BY`。示例： ```sql -- 方法1：窗口函数 SELECT * FROM ( SELECT *, ROW_NUMBER() OVER (PARTITION BY user_id ORDER BY login_ts DESC) AS rn FROM login_table ) t WHERE rn = 1; -- 方法2：GROUP BY SELECT user_id, MAX(login_ts) AS last_login FROM login_table GROUP BY user_id; ``` --- #### 5. **如何统计用户连续登录天数？** **答案**：通过日期差与分组标记实现。示例： ```sql WITH t1 AS ( SELECT user_id, login_date, DATE_SUB(login_date, ROW_NUMBER() OVER (PARTITION BY user_id ORDER BY login_date)) AS grp FROM login_table ) SELECT user_id, COUNT(*) AS consecutive_days FROM t1 GROUP BY user_id, grp HAVING COUNT(*) >= 3; -- 连续3天以上 ``` **解析**： - `DATE_SUB(login_date, ROW_NUMBER())`生成连续登录的分组标记[^2]。 ---