Hive count 计数时统计null值

最新推荐文章于 2025-03-15 13:27:49 发布
最新推荐文章于 2025-03-15 13:27:49 发布
阅读量4.9k 收藏 1
点赞数
分类专栏： hive 文章标签： hive count坑
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/hello_java_lcl/article/details/124177714
版权
这篇文章揭示了Hive中count(distinct member)函数在处理string类型member字段时遇到的问题，尤其是当遇到null值时，计数结果会错误地包含一个额外的计数。这对于统计分析可能导致误导，尤其是在数据清洗和预处理阶段。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Hive count 函数的大坑！

select count(distinct member) from student t

如果member是string类型的，count计数的时候会吧null值单独计数为1，所有的分组统计都会这样计数，数量莫名的多出好多

表中member字段是string类型，空值是NULL，用is null 可以查出来，用=‘null’查不出来的那种。

Hive count(*) 会统计NULL，count(字段名)不统计NULL
Top5软件工程硕士，先后在京东、字节从事多年Java后端开发、实时和离线大数据开发
06-17 5108
select count(*) from ( select 1 as c1 union all select null as c1 ) -- 2 , count(*) 包含null值 select count(c1) from ( select 1 as c1 union all select null as c1 ) -- 1 , count(c1) 不包含null值 select count(case when 1=1 then 1 else 0 end) ; -- 1 se.
Hive count(distinct c1) ，不包含NULL的总数
Top5软件工程硕士，先后在京东、字节从事多年Java后端开发、实时和离线大数据开发
05-31 1113
select count(distinct c1) from ( SELECT if(1=1,null,0) as c1 union ALL select 2 as c1 union ALL select 2 as c1 union ALL select 3 as c1 )t0 -- 2 select count(distinct c1) from ( SELECT if(1=1,null,0) as c1 union ALL SELECT if(2=2,null,0) as c1 ...
面试问题：mysq，oracle，hive中对于null和空字符串“”，执行count，sum等函数的最终效果
xw486223221的博客
06-04 678
mysq，oracle，hive中对于null和空字符串“”，执行count，sum等函数的最终效果
hive中的null值
朝着梦想 渐行前进
05-26 5297
hive中的null值
hive 计算表中的空值数目_hive--整理
weixin_35879114的博客
12-01 2142
hive窗口函数1、Over子句在深入研究Over字句之前，一定要注意：在SQL处理中，窗口函数都是最后一步执行，而且仅位于Order by字句之前。统计2019年4月份每个人的购买记录次数 select name,count(*) over () from odist where otime = '2019-04' group by name -------执行结果 mart 2 jack ...
MySQL count去重并包括null
shuux666的博客
04-07 1826
版本 mysql 5.7.20 去重聚合获取count值 SELECT count(DISTINCT(字段)) FROM 表 带null去重聚合count值 SELECT count(DISTINCT(IFNULL(字段,1))) FROM 表
Hive统计函数
lhxsir的博客
04-02 5678
(1)count(*) 作用：统计检索出的行的个数，包括NULL值的行    count(t) 作用：返回指定字段的非空值的个数    count(distinct t) 作用：返回指定字段的不同的非空值的个数(2)sum(t) 作用：统计结果集中col的相加的结果    sum(distinct t) 作用：统计结果中col不同值相加的结果(3)avg(t) 作用：统计结果集中col的平均值  ...
hive NULL值影响
cuituancheng9378的博客
05-31 251
今天发现一个问题，将数据文件导入hive，然后校验数据，具体如下： step1： select count(1),count(distinct sys_code,order_no,hotel_seq) from dw_sou...
【hive】count distinct时遇到的坑
波波菜鸟
08-06 3154
先说结论：使用count distinct计算两列联合去重时，若有任何一列为null 那么count计数时就会略过这一条。 如：count(distinct a,b) 若a或者b中有一个是null，那么这一行就不会参与计数 平台：hive、mysql都是如此 1、给一张测试表如下： 表名设为test，注意第三行的name是null，空值 id tools name 1 hive a 2 hive b 3 hive NULL 2、观察下方执行结果： select distinct
【Hive】MapReduce 如何实现 Hive SQL 的基本操作-count
每天更新大数据面经和技术
09-05 575
count
Hive SQL 精进系列：REGEXP_COUNT 函数的用法
最新发布
进一步有进一步的欢喜~
03-15 937
`REGEXP_COUNT` 函数是一个强大的正则表达式相关函数，它能够帮助我们统计字符串中匹配特定正则表达式模式的子字符串的数量。本文将详细介绍 `REGEXP_COUNT` 函数的基本语法、应用场景、使用示例以及一些注意事项。
count()函数对null值的处理
搞怪的索引
03-06 2944
函数中如果是列名的话则不包含NULL；如果是 *  字符或常量 则包括NULL； 例如： 表emp_info               emp_no    emp_name                1                刘德华                2                李小璐                3
pyspak（二）Hive 巡检工具-对表数据量、主键重复数量以及每个字段标签的空值检测
qq_40771567的博客
06-06 1398
思考，如果我们表经常增加字段，那么每次都要往表里手动维护规则进去会很麻烦，所以我们编写自增规则的一个脚本。（1）规则code用来保证该条规则的唯一性，可以和t-2分区进行关联，从而计算波动率等。2、准备一个表，存储需要自增字段的来源表的元数据信息，可以获取到该表里的字段即可。1、准备一个表，里边存储已经不需要监控的字段or已经失效的字段。（2）规则类型用来区分是表or字段 的检测规则。2、利用pyspark分别对各个规则进行检测。1、读取上边我们在表里的规则配置信息。3、讲结果写入数据表。
hive distinct函数 null不参与统计及解决方法
qq_37797234的博客
08-16 824
hive distinct函数
hive踩坑记录：count(distinct col1,col2) 遇见某列中有null值，结果不准
diudiu2025的博客
12-28 3320
count(distinct col1,col2) 遇见某列中中有null值，结果不准 SELECT count(DISTINCT col1,col2) from (SELECT 2 as col1,1 as col2 union all SELECT null as col1,2 as col2 union all SELECT null as col1,3 as col2 un...
hive 空值、NULL判断
Jungle_hello的博客
08-31 1976
https://blog.youkuaiyun.com/jyl1798/article/details/41871013
hive对有null值的列进行avg,sum,count,max,min等操作时会不会过滤null值
qq_46893497的博客
03-12 6374
在hive中，我们经常会遇到对某列进行count、sum、avg等操作计算记录数、求和、求平均值等，但这列经常会出现有null值的情况，那这些操作会不会过滤掉null能呢？ 下面我们简单测试下： with tmp as ( select null as col1 union all select 666 as col1 union all select 999 as col1 ) select avg(col1) avg_numm , sum(col1) sum_num , count(1) cnt.
sql 中 count 计算null值的个数
qq_42211003的博客
12-31 7601
sql 中 count 计算null值的个数 今天上班遇到一个求没有下发过任务的号码个数,因为没有标记字段,需要left join 查null的个数, 之前一直count(1) / count(*) 遇到这种情况还是想了一会儿,所以记录一下 count求null值 count(if(字段 is null ,1,0)) ...
Mysql、Oracle、Hive中SUM(null)和COUNT(null)
Liu_Arvin的芝士小栈
10-26 7837
Mysql、Oracle、Hive中SUM(null)和COUNT(null)
hivesql的计数
07-27
在Hive SQL中，有多种方法可以进行计数操作。其中，常用的方法是使用COUNT函数。例如，要统计某一列的总行数，可以使用以下语句： SELECT COUNT(*) FROM table_name; 如果要统计某一列的去重数，可以使用COUNT(DISTINCT column_name)函数。然而，当数据量很大时，使用COUNT(DISTINCT)可能会非常慢，因为它只会有很少的reducer来处理。在这种情况下，可以使用GROUP BY子句来改写查询语句，如下所示： SELECT COUNT(1) FROM (SELECT column_name FROM table_name GROUP BY column_name) tmp; 这样的写法会启动两个MR job，所以要确保数据量大到启动job的开销远小于计算耗时，才考虑使用这种方法。另外，当数据集很小或者key的倾斜比较明显时，使用GROUP BY可能会比使用DISTINCT慢。\[2\]\[3\] #### 引用[.reference_title] - *1* *2* *3* [Hive调优策略之SQL优化](https://blog.youkuaiyun.com/weixin_52851967/article/details/127371719)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值