Hue impala count 问题

zhiliang-chen

于 2019-10-24 18:06:56 发布

阅读量698

点赞数

CC 4.0 BY-SA版权

分类专栏：大数据问题处理文章标签： hue impala count distinct

本文链接：https://blog.youkuaiyun.com/liangkiller/article/details/102728725

大数据问题处理专栏收录该内容

5 篇文章

订阅专栏

在Hue中使用Impala查询时，发现distinct host与count(distinct host)结果不一致，深入分析发现Hue自动将后者转换为NDV()，导致结果偏差。本文探讨了这一现象的原因及解决方案。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在hue中,使用impala查询时, distinct host 查出结果为 2089, 而使用count(distinct host) 查出结果为2034;

通过查看DISTINCT Operator, 看到 “开启自动将COUNT(DISTINCT)重写为NDV(),通过加上查询参数APPX_COUNT_DISTINCT”

在hue里,使用NDV(host) 查出结果为2034, 可知HUE连接impala时自动加上了APPX_COUNT_DISTINCT, 使count(distinct host) 转为NDV(host) , 而NDV是快速得到近似值;

而直接在impala shell里执行,得到的结果是正确的;

在hue和impala-shell里通过 set查看查询参数:

> set;
APPX_COUNT_DISTINCT: [0]

这个参数并没有开启;
第二天在Hue查询,结果又是正常的了;进一步查找原因

使用在hue里explain查看查询任务

> explain select count(distinct host) from default.tmp_kn2_monitor_host_runhigh_hour_4_2019102310

WARNING: The following tables are missing relevant table and/or column statistics

可能跟表统计有关;也可能跟节点信息不同步有关;