Hive Sql优化之一次from查询多次insert into操作

文章介绍了两种HiveSQL的优化方法。一是通过一次from查询执行多次insertinto操作,以减少map操作,提高效率,例如在统计字段空值率的场景中。二是使用groupingsets代替union,简化多维统计的编写,提高查询性能。这两种方式能有效提升Hive查询的效率。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

一次from查询多次insert into操作

例:统计字段空值率

优化点:一次map多个reduce,有效节省了map操作
流程如下:
1.创建表;
2.插入数据;
3.参照下面语句;

--创建student表
CREATE EXTERNAL TABLE IF NOT EXISTS STUDENT(
	s_no string comment '学号',
	s_name string comment '姓名',
	s_birth string comment '生日',
	s_age bigint comment '年龄',
	s_sex string comment '性别',
)
--创建统计空置率表
CREATE EXTERNAL TABLE IF NOT EXISTS STUDENT_COUNT(
ID STRING COMMENT  '字段名称',
COUNT STRING COMMENT  '数据累加'
NULL_RATE  DOUBLE  '空值率'
)
--清空表数据
truncate table student_count;
--插入数据
--年龄大于16学生的姓名和生日的空置率;
from (select * from student where s_age > 16) a
insert into student_count select 's_name ' id ,count(1) count,count(s_name )/count(1) as null_rate
insert into student_count select 's_birth ' id ,count(1) count,count(s_birth )/count(1) as null_rate;

使用grouping sets代替union的SQL优化

--grouping sets等操作时,用union关键词来构建多维统计的方式
--改写前的代码段
select * from(
select s_age,s_sex,count(1) num
from student_tb_orc
group by s_age,s_sex
union all
select s_age,null s_sex,count(1) num
from student_tb_orc
group by s_age
) a
--改写后的代码段
select s_age,s_sex,count(1) num
from student_tb_orc
group by s_age,s_sex
grouping sets((s_age),(s_age,s_sex))
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值