Hive SQL复杂场景实现(2) —— 实时/最大在线人数

本文探讨如何使用Hive SQL解决实时/最大在线人数问题。通过两种方法,包括join关联和sum() over()函数,解析计算逻辑,并提供实际案例分析。解法2利用窗口函数,对于大规模数据在SparkSQL中表现出良好性能。

本文同时发表于我的个人博客http://xinyuwg.com,访问该链接以获得详细信息与更好的阅读体验。
本文为原创内容,未经允许请勿转载。

背景

这个问题一开始是一个同事问我的,能不能用SQL求某一天哪个时刻进行中的订单量最多,这个数是多少?我寻思挺有意思,就细想了一下。其实思考下可以发现,如果要求一段时间内的同时处于服务过程中的最大订单量,相当于也要知道每个时刻的数量,所以求最大和求实时是等同的。

这个问题在不同的业务场景下有不同的意义,比如一个游戏的同时在线人数,比如一个服务器的实时并发数,比如一个仓库的货物积压数量等等。

一般而言对于需要知道并发数的业务场景都会通过实时监控来完成,而不会通过sql进行离线计算。但本着深挖sql潜能的想法,如下提供一个不切实际的解法与一个真实可行的方法。

数据

假设我们的业务场景是回溯某一天的某游戏的最大同时在线人数,并有表connection_detail记录用户每一次上线和下线时间:

user_id login_time logout_time dt
213142 2019-01-01 12:21:22 2019-01-01 13:45:21 20190101
412321 2019-01-01 13:35:11 2019-01-01 16:01:49 20190101

解法1:(join关联)

我们先思考一个问题,假设我们实时有一个变量online_cnt记录着当前在线人数,那么什么情况下这个数会发生变化呢?聪明的你一定想到是当有用户登录或者有用户登出的时刻。说到这思路应该就清晰了,我们需要去求每一个用户登入或登出时刻的在线人数。从另一个角度,我们需要知道每当一个用户登录或登出的时刻,用多少人还在线上。


select 
    max(online_cnt) as max_online_cnt
from
(
    select 
        b.`timestamp`,
        count(
1.上传tar包 2.解压 tar -zxvf hive-1.2.1.tar.gz 3.安装mysql数据库 推荐yum 在线安装 4.配置hive (a)配置HIVE_HOME环境变量 vi conf/hive-env.sh 配置其中的$hadoop_home (b)配置元数据库信息 vi hive-site.xml 添加如下内容: javax.jdo.option.ConnectionURL jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true JDBC connect string for a JDBC metastore javax.jdo.option.ConnectionDriverName com.mysql.jdbc.Driver Driver class name for a JDBC metastore javax.jdo.option.ConnectionUserName root username to use against metastore database javax.jdo.option.ConnectionPassword hadoop password to use against metastore database 5.安装hive和mysq完成后,将mysql的连接jar包拷贝到$HIVE_HOME/lib目录下 如果出现没有权限的问题,在mysql授权(在安装mysql的机器上执行) mysql -uroot -p #(执行下面的语句 *.*:所有库下的所有表 %:任何IP地址或主机都可以连接) GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY 'root' WITH GRANT OPTION; FLUSH PRIVILEGES; 6. Jline包版本不一致的问题,需要拷贝hive的lib目录中jline.2.12.jar的jar包替换掉hadoop中的 /home/hadoop/app/hadoop-2.6.4/share/hadoop/yarn/lib/jline-0.9.94.jar 启动hive bin/hive ---------------------------------------------------------------------------------------------------- Hive几种使用方式: 1.Hive交互shell bin/hive 2.Hive JDBC服务(参考java jdbc连接mysql) 3.hive启动为一个服务器,来对外提供服务 bin/hiveserver2 nohup bin/hiveserver2 1>/var/log/hiveserver.log 2>/var/log/hiveserver.err & 启动成功后,可以在别的节点上用beeline去连接 bin/beeline -u jdbc:hive2://mini1:10000 -n root 或者 bin/beeline ! connect jdbc:hive2://mini1:10000 4.Hive命令 hive -e ‘sql’ bin/hive -e 'select * from t_test'
### Hive复杂SQL查询的优化策略 #### 使用`EXPLAIN`和`EXPLAIN EXTENDED` 对于复杂或执行效率低下的查询,可以在查询语句前加上`EXPLAIN`或`EXPLAIN EXTENDED`关键字。这会使查询不被执行,而是返回Hive计划如何执行该查询的信息。通过这种方式,可以理解查询被分解成了哪些阶段(stage),从而找到可能存在的性能瓶颈并加以改进[^4]。 ```sql EXPLAIN EXTENDED SELECT * FROM table_name WHERE condition; ``` #### 调整配置参数 有许多可调优的参数能够影响到Hive作业的表现。适当调整这些参数能够在很大程度上改善SQL执行的速度。例如: - `set hive.exec.parallel=true;`: 启用并发执行模式来加速多表连接操作。 - `set mapreduce.job.reduces=NUM;`: 明确指定Reduce任务的数量以控制输出文件大小以及减少Shuffle过程中的数据传输量。 - `set hive.vectorized.execution.enabled=true;`: 开启向量化执行引擎加快聚合运算等场景下数据处理速率。 以上只是部分可供调节的关键选项,具体还需要依据实际应用场景灵活设定[^2]。 #### 处理数据倾斜问题 当遇到因键分布极不平衡引起的数据倾斜状况时,应该采取措施缓解这一现象带来的负面影响。一种常见做法是在Join之前引入随机数作为辅助字段打散热点Key,之后再做关联计算;另外也可以考虑重构业务逻辑使输入源更加均匀化,以此达到规避严重偏斜的目的[^3]。 #### 减少不必要的I/O开销 尽可能地利用分区(Partitioning)特性按需读取特定范围内的记录而非全表扫描;同时合理规划桶(Bucketing)结构让相同特征值聚集存储以便于后续高效访问。此外,压缩算法的选择同样不容忽视——采用合适的编码方式能有效降低磁盘占用空间进而间接促进整体流程顺畅度。 ```sql -- 创建带分区的表 CREATE TABLE partitioned_table ( col1 STRING, ... ) PARTITIONED BY (year INT, month INT); -- 插入数据至相应分区 INSERT INTO partitioned_table PARTITION(year='2023',month='7') VALUES (...); ```
评论 6
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值