Hive SQL--使用hive计算中位数以及分位数

最新推荐文章于 2024-09-16 19:54:55 发布

会飞的鱼__

最新推荐文章于 2024-09-16 19:54:55 发布

阅读量4.3w

点赞数 11

分类专栏：大数据文章标签： hadoop cloudera hive

本文为博主原创文章，未经博主允许不得转载。---by chen

本文链接：https://blog.youkuaiyun.com/qq_33637730/article/details/109066665

版权

大数据专栏收录该内容

2 篇文章

订阅专栏

本文介绍了Hive中用于计算分位数的percentile和percentile_approx函数，重点讲解了如何使用这两个函数来获取数据集的中位数。通过示例展示了创建测试表、插入数据以及执行查询的过程，强调了当p参数为0.5时，才是计算中位数的正确设置，纠正了一些文章中错误地使用0.2作为参数的常见误区。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

开门见山的说，hive中有两个函数percentile和percentile_approx，可以用来计算分位数。

而中位数即2分位数，那么同样可以使用该函数计算。具体使用方如下：
percentile：percentile(col, p) col是要计算的列（值必须为int类型），p的取值为0-1，若为0.5，那么就是2分位数，即中位数。

percentile_approx：percentile_approx(col, p)。列为数值类型都可以。

percentile_approx还有一种形式percentile_approx(col, p，B)，参数B控制内存消耗的近似精度，B越大，结果的精度越高。默认值为10000。当col字段中的distinct值的个数小于B时，结果就为准确的百分位数

其他使用方法请参考其他文档，这里不赘述，写这篇文章的主要目的是我看了很多篇文章都是复制粘贴的，没有自己实践，其中参数p应为0.5时，计算所得才是中位数，但是很多文章写得都是0.2

测试部分

1、先建测试表

CREATE TABLE temp_median_test 
(
id int,
number bigint
)
ROW FORMAT DELIMITED fields terminated by '\t'
STORED AS ORC

2、插入数据

INSERT INTO temp_median_test VALUES(1,1);
INSERT INTO temp_median_test VALUES(2,2);
INSERT INTO temp_median_test VALUES(3,3);
INSERT INTO temp_median_test VALUES(4,4);
INSERT INTO temp_median_test VALUES(5,5);
INSERT INTO temp_median_test VALUES(6,6);
INSERT INTO temp_median_test VALUES(7,7);

3、执行查询

SELECT percentile(number,0.5) from temp_median_test;

4、查询结果
在这里插入图片描述