这篇博客讨论了Impala旧版本中count(distinct)函数仅能对单个字段进行去重统计的问题，并指出在新版本的Impala、Hive和Spark中已支持多字段去重。作者为解决此问题，开发了一个C++用户定义聚合函数(UDAF)，可在GitHub上找到：https://github.com/Gevygg/impala-distinct-count。这个UDAF提供了多字段去重计数的功能，适用于需要此类操作的场景。
使用低版本的impala在进行去重统计count(distinct 字段)操作的时候会遇到很大的限制，就是一条sql只能对一个字段进行去重统计，多于一个字段使用count(distinct 字段)则会提示如下报错：
”errorMessage:AnalysisException: all DISTINCT aggregate functions need to have the same set of parameters as ..."
目前高版本的impala和hive,spark则是支撑多个不同字段进行去重统计操作的。
针对该问题我用C++开发了一个UDAF如下，欢迎试用优化：
https://github.com/Gevygg/impala-distinct-count
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
