starRocks count(distainct(id)) 统计出现bug

最新推荐文章于 2025-03-17 17:53:29 发布
最新推荐文章于 2025-03-17 17:53:29 发布
阅读量704 收藏 1
点赞数
分类专栏： starRocks 文章标签： big data Doris 数据仓库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_34009542/article/details/123681710
版权
该博客探讨了在ODS.info表中COUNT(distinct vin)结果不准确的问题，通过设置streaming_preaggregation_mode和new_planner_agg_stage来修复，并重点介绍了如何调整参数以确保正确获取221个唯一vin值。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

SELECT COUNT(vin),COUNT(distinct(vin)) from ods.info;

后面COUNT(distinct(vin)) 统计数据不正确，本应221这个结果，实际结果10

处理方式：下面三行直接一起执行

set streaming_preaggregation_mode = force_preaggregation;
set new_planner_agg_stage = 1;

SELECT COUNT(vin),COUNT(distinct(vin)) from ods.info;

StarRocks——滴滴的极速多维分析实践
爱吃辣条的博客
03-12 1486
StarRocks——滴滴的极速多维分析实践
Flink系列之：使用Flink Mysql CDC基于Flink SQL同步mysql数据到StarRocks数据库
zhengzaifeidelushang的博客
01-29 1623
Flink系列之：使用Flink Mysql CDC基于Flink SQL同步mysql数据到StarRocks数据库
StarRocks日常运维之“压缩雪崩”
qq_35200943的博客
01-05 1699
记录一次StarRocks压缩雪崩的调查及解决流程
【Starrocks】starrocks查询bug：count(distinct)影响count(1)计算结果
m0_66705151的博客
04-24 863
报告一个Starrocks基础的执行引擎查询bug及其临时解决方案
浅谈StarRocks SQL性能检查与调优
最新发布
Steven的博客
03-17 1225
StarRocks 作为一款高性能的分布式分析型数据库，其 SQL 性能调优需要结合其存储模型、分布式架构和查询优化器特性。以下是性能检查与调优的核心思路及实践方法： 关注点： SCAN 阶段：是否命中分区/分桶裁剪？数据扫描量是否过大？ JOIN 阶段：是否触发 Colocate/Bucket Shuffle Join？是否存在数据倾斜？ AGGREGATE 阶段：是否过度聚合？是否启用两阶段优化？ 2. Profile 分析 查询 Profile：通过 开启，执行查询后获取详细资源消耗
StarRocks库中，关于count(distinct)的使用
Little_Car_A_Day的博客
09-06 1014
在使用count(distinct)时，经常会出现这个报错，究其原因是多次调用count(distinct column_name)，但是column_name又不是相同的字段，所以导致报错出现。这个语法中，首先使用子查询获取去重后的结果集，然后再使用count(*)函数来计算结果集的行数。这个函数代替 count（distinct）
StarRocks - Case When Count 混合使用统计
qq_31723513的博客
06-29 664
mysql StarRocks 数据汇总
技术内幕｜StarRocks 标量函数与聚合函数
StarRocks的博客
03-31 1261
标量函数用于处理单行数据，接受一个或多个参数作为输入，并返回一个值作为结果。StarRocks 常见的标量函数有 abs、floor、ceil 等。聚合函数用于处理多行数据，接受多行数据作为输入，经过计算后返回一行结果。StarRocks 常见的聚合函数有 count、sum、avg、min、max 等。本文介绍了 StarRocks 中标量函数和聚合函数的实现原理，并以 sha2 标量函数和 ANY_VALUE 聚合函数为例，说明了如何添加标量函数和新增聚合函数。标量函数定义在目录下。
统计一篇超过10G的文章中每个单词出现的次数
热门推荐
张彦峰的博客
02-27 171万+
本文介绍了一种基于分布式计算和多线程技术的方案，用于高效统计超大文本（如10GB以上）中每个单词的出现次数。文章首先讲解了如何将大文件切割成小文件，并将这些小文件分配到多台计算机上进行并行处理。每台计算机通过多线程统计本地文件的单词频率，并将结果合并到全局统计中。最终，统计结果可以存储到Redis等分布式存储系统中，以便快速查询。本文还讨论了性能优化的策略，如哈希算法的选择、并行计算的优化等，为大规模文本数据处理提供了有效的解决方案。
MySQL - count(字段)、count(主键)、count(1)、count(*)的区别
易编橙 · 终身成长社群，相遇已是上上签！
07-28 4万+
该章节内容很少，只是针对MySQL - count(字段)、count(主键)、count(1)、count(*)的区别，进行的一个简短的记录。
Hive count(*) 会统计NULL，count(字段名)不统计NULL
Top5软件工程硕士，先后在京东、字节从事多年Java后端开发、实时和离线大数据开发
06-17 5106
select count(*) from ( select 1 as c1 union all select null as c1 ) -- 2 , count(*) 包含null值 select count(c1) from ( select 1 as c1 union all select null as c1 ) -- 1 , count(c1) 不包含null值 select count(case when 1=1 then 1 else 0 end) ; -- 1 se.
故障修复集锦-记一次StarRocks导入导致be频繁OOM
u013836748的博客
12-18 1686
现象 从4个节点扩容到7个节点 发起了一次300G数据的导入后， 7台中有3个be进程持续OOM造成进程重启 调查过程 监控 系统监控到，64G的内存，几分钟便OOM 系统日志 dmesg -T里能看到类似这样的东西： out of memory kill process dorisdb_be score 977 or sacrifice child Compaction score 执行如下指令看到5千多的score: grep "highest_score=" be
StarRocks: all partitions have no load data
qq_41642419的博客
06-28 803
使用stream_load导入数据，偶发时而正常时而不正常。查看官方，应该是数据库本身的BUG.
starrocks--等价替换GROUP BY(DISCARD)
啊哈的博客
09-12 585
StarRocks中等价替换GROUP BY(DISCARD)
基于StarRocks的MySQL语句排雷秘籍，后续持续更新
weixin_44911404的博客
08-02 1855
这篇文章主要记录了在MySQL语句切换到StarRocks数据库时遇到的一些bug问题[GROUP_CONCAT(DISTINCT COLUMN);注释;子查询;LAST_DAY()]以及对应的解决方案，这也是基于个人的一些思考转化，欢迎大家交流。
StarRocks 参数详解
MDZ_1122333322的博客
07-29 4432
StarRocks参数详解
第6.7章：StarRocks查询加速——使用 Bitmap 实现精确去重
爱吃辣条的博客
07-28 2040
第6.7章：StarRocks查询加速——使用 Bitmap 实现精确去重
Starrocks与MySQL函数的区别
啊哈的博客
08-21 3082
Starrocks是一款分布式OLAP数据库，而MySQL则是一种关系型数据库。由于其不同的架构和用途，它们在支持的函数方面存在一些差异。下面将详细介绍Starrocks和MySQL之间常见函数的区别。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值