低版本impala多次去重UDAF

Impala低版本去重统计限制及C++ UDAF解决方案
最新推荐文章于 2023-10-13 09:41:04 发布
原创 最新推荐文章于 2023-10-13 09:41:04 发布 · 773 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#impala #UDAF #大数据 #C++

这篇博客讨论了Impala旧版本中count(distinct)函数仅能对单个字段进行去重统计的问题，并指出在新版本的Impala、Hive和Spark中已支持多字段去重。作者为解决此问题，开发了一个C++用户定义聚合函数(UDAF)，可在GitHub上找到：https://github.com/Gevygg/impala-distinct-count。这个UDAF提供了多字段去重计数的功能，适用于需要此类操作的场景。

     使用低版本的impala在进行去重统计count(distinct 字段)操作的时候会遇到很大的限制，就是一条sql只能对一个字段进行去重统计，多于一个字段使用count(distinct 字段)则会提示如下报错：

”errorMessage:AnalysisException: all DISTINCT aggregate functions need to have the same set of parameters as ..."

    目前高版本的impala和hive,spark则是支撑多个不同字段进行去重统计操作的。

    针对该问题我用C++开发了一个UDAF如下，欢迎试用优化：

    https://github.com/Gevygg/impala-distinct-count

 

【硬刚大数据之面试篇】2021年从零到大数据专家面试篇之Hive篇
微信搜：import_bigdata，大数据领域硬核原创作者
08-12 1807
欢迎关注博客主页：https://blog.youkuaiyun.com/u013411339 欢迎点赞、收藏、留言 ，欢迎留言交流！本文由【王知无】原创，首发于 优快云博客！本文首发优快云论坛，未经过官方和本人允许，严禁转载！ 本文是对《【硬刚大数据之学习路线篇】2021年从零到大数据专家的学习指南(全面升级版)》的面试部分补充。 硬刚大数据系列文章链接： 2021年从零到大数据专家的学习指南(全面升级版) 2021年从零到大数据专家面试篇之Hadoop/HDFS/Yarn篇 2.
hive 函数(内置函数、日期函数、窗口函数、自定义函数UDF)
.
03-03 1816
hive 函数 自定义函数UDF
impala 自定义聚合函数不能用java开发，只能用c++开发
微风
09-19 1148
impala3.0 自定义函数(UDF:USER-DEFINED FUNCTION)有 单行函数（eg: rtrim(),abs(),concat() ,substr()等），可以使用scala、java 、C++开发 自定义聚合函数（UDAF：USER-DEFINED AGGREGATE FUNCTION） （eg:sum(),max(),avg() 等 ）,只能用C++开发，暂...
impala去重的两种方案
weixin_43831204的博客
08-12 2756
方案一 聚合函数,GROUP BY可以跟多个字段 SELECT min( o.userid ),min( o._id ),min( o.action ),min( o.event_value ), min( o.deviceid ),min( o.platform ),min( o.mac ),min( o.androidid ), min( o.ip ),min( o.channel ),min( o.brand ),min( o.oaid ),min( o.time ), min( o.imei
Impala累计去重计数
王世洪的博客
10-13 926
那么就需要另辟蹊径，思考其他解决方案，结合其他函数，完成累计去重计数，尽量满足分析需求；③ 按照上述步骤，先保证每个员工只有一条记录的序号为1，再进行序号为1的数据求和，即可以实现对加班数据，进行计算每天累计有多少名员工加班。通过以上方式，通过巧妙使用row_number下每个分区下只会有一个1的特点，就可以在Impala中实现累计去重计算，希望可以帮助大家。② 根据①的结果，按加班日期进行分区，只求和序号为1的数据，其他数据均处理为0，不做求和。与 decode() 结合，实现累计去重计算；
Hive/Impala 自定义UDF函数一气呵成
DaiSnow的博客
06-16 794
Hive UDF开发流程： 1.继承UDF类，重写evaluate()方法并实现函数逻辑（如果方法不存在则自己创建该方法） 依赖包hadoop-common和hive-exec： <!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-common --> <dependency> <groupId>org.apache.hadoop</groupId> <artifact
自己动手写Impala UDF
网易数帆社区博客
05-07 5049
本文由 网易云 发布概述出于对可扩展性和性能的考虑，UDF已变成大数据生态圈查询引擎的必备功能之一，无论是Calcite、Hive、Impala都对其进行支持，但是UDF的支持有利也有弊，好处在于它提供了对某些用户独有需求的支持，例如某些产品需要将表中的某字段使用自定义的方式解析成可读字段，例如需要实现特殊的聚合函数；它的弊端在于它对用户开发，这样对于恶意的用户可能执行非正常的逻辑，例如在函数中删...
Impala元数据缓存的生命周期
Stiga Huang的专栏
03-08 2135
上一篇文章《Impala元数据简介》介绍了Impala缓存的元数据（Metadata/Catalog）的具体内容，本文将介绍这些元数据缓存的生命周期，即它们是怎么初始化的，怎么加载的以及怎么失效的。 以下是常见的元数据相关的问题，基本都跟元数据的生命周期有关： 同样的查询，为什么第一次运行比后面几次运行都要慢很多？ 在 Hive 中建了个新表，但在 Impala 中不可见，如何解决？ 在 Hiv...
《大数据Hadoop、Hive、Kafka、Hbase、Spark高频考点精编：覆盖90%面试场景的200多道压轴题》
m0_46689661的博客
12-05 1万+
大数据Hadoop、Hive、Kafka、Hbase、Spark等框架面经
impala基础
weixin_30492601的博客
08-14 186
impala: 查询impala表时一定要加库名使用级联删除带有表的数据库：DROP database name cascade; insert插入的两种方式： 1. insert into employee (ID,NAME,AGE,ADDRESS,SALARY)VALUES (1, 'Ramesh', 32, 'Ahmedabad', 20000 ); 2.不指定列值，注意顺序 ins...
impala取重复数据时间最新的一条(分组聚合)
Allenzyg的博客
08-23 1258
场景：假如你在网上买了一台空调，生成一个订单号xxxxxxx，该订单号有两个物料（空调内机和空调外机），在快递员送货时，我们只看该订单最终完成时间，也就是说，假如先送的空调内机，时间为2022-08-23 15:54:30，空调外机送达时间为2022-08-24 10:30:07，我们要的时间就是2022-08-24 10:30:07。知识点：row_number() over (partition by)问题：订单并非像我举例中的有两条，有的订单可能有十几条。...
Impala的count(distinct QUESTION_ID) 与ndv(QUESTION_ID)
u011250186的博客
11-03 926
Impala的count(distinct QUESTION_ID) 与ndv(QUESTION_ID)
impala开窗函数/分析函数最全版（强烈建议收藏）
weixin_43140586的博客
04-06 7629
impala开窗函数/分析函数最全版（强烈建议收藏） 本文基于impala3.2版本，所有的内置开窗分析函数； 文章目录impala开窗函数/分析函数最全版（强烈建议收藏）一、补充概念说明1、什么是开窗函数？2、开窗函数的分类？3、本章节中使用的表格数据如下：表名 student_score二、排名开窗函数1、排名开窗函数的使用语法2、排名开窗函数（排名函数）3、排名开窗函数（切片函数）4、排名开窗函数（序列分析函数）5、排名开窗函数（lead+lag）6、排名开窗函数（first_value+last_v
impala--NDV()函数
热门推荐
huobumingbai1234的博客
09-20 1万+
使用impala查询引擎的时候，如果count(disticnt column)数据量过大会报错，报错内容 正在提取遇到以下错误的结果： org.apache.hive.service.cli.HiveSQLException: AnalysisException: all DISTINCT aggregate functions need to have the same set of pa...
hive去重两种方式
HD243608836的博客
01-02 1686
select * from (select *,row_number() over (partition by starttime order by air_temperature) as num from weather_forecast desc) t where t.num=1; select * from (select *,row_number() over (distrib...
SQL/HQL中数据去重的3种方式
Thomson617的博客
04-09 6492
30万条数据的去重比较 1.distinct select distinct * from tableName hive用时: 40.47秒 impala用时: 11.98秒 2.group by select c1,c2,c3,c4,c5,max(c6) c6 from tableName group by c1,c2,c3,c4,c5 hive用时: 22.8秒 impala用时: 2....
Oracle/Hive/Impala SQL比较（3-4）
大米瓶子的博客
05-15 5562
3 DML 3.1 Load Files 操作 Oracle Hive Impala LOAD LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTO TABLE tablename [PARTITION (partcol1=val1, partcol
Hive--hive一种通用的上亿级别的去重方法
SOARING
09-07 3736
前些阵子在公司做项目遇到了一个问题，就是需要都行业中的所有品牌的uid进行去重的然后计数的操作。 数据量去完重复大概2个亿，去之前大概将近三个亿。 做法一：最原始的做法使用的是count(distingct uid)这个需要大概跑3个小时的任务。 做法二：使用group by去重，效果依然不好。 做法三：使用row_number() over(partition by uid order ...
impala数组排序去重
最新发布
11-30
Impala是一种基于Hadoop的数据查询引擎，它允许用户通过SQL进行大规模数据处理。在Impala中，如果你想要对数组类型的值进行排序并去除重复元素，可以使用`array_distinct()`函数结合`ORDER BY`语句。 例如，假设你...
评论 2
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

路边草随风

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值