【Clickhouse】Clickhouse 精确去重计数性能测试

最新推荐文章于 2024-09-14 16:09:27 发布
最新推荐文章于 2024-09-14 16:09:27 发布
阅读量1.4k 收藏 3
点赞数
分类专栏： 2025最新-clickhouse 文章标签： clickhouse 大数据 hive
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.youkuaiyun.com/qq_21383435/article/details/125285246
版权
本文探讨了在4亿多数据集上，ClickHouse如何利用Bitmap进行精确去重计数，尤其是RoaringBitmap的原理和优势。通过对比uniq和groupBitmap函数，展示在整形值去重场景中，groupBitmap的性能提升。同时，文章介绍了ClickHouse集成RoaringBitmap的情况，以及在用户画像系统中的应用场景和改进。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

在这里插入图片描述

1.概述

4亿多的数据集上，去重计算出6千万整形数值，
非精确去重函数： uniq、 uniqHLL12、 uniqCombined
精确去重函数： uniqExact、 groupBitmap

在这里插入图片描述

在这里插入图片描述
结论：

  • 整形值精确去重场景， groupBitmap 比 uniqExact至少快 2x+
  • groupBitmap仅支持整形值去重， uniqExact支持任意类型去重。
  • 非精确去重场景， uniq在精准度上有优势。

案例如下

了解本专栏 订阅专栏 解锁全文
使用Clickhouse去重
qq_35163570的博客
06-25 6008
使用场景：通常为计算 uv 一、准备测试数据表 createtabletest_distinct ( id UInt32 ) ENGINE = Memory; insertintotest_distinctvalues (1),(1),(1),(2)(2),(2),(2),(2),(3),(4),(4),(4),(5),(6),(7),(8),(7),(6),(8),(8); 二、根据ID进行去重 在My...
ClickHouse 实时数据去重final+group by
热门推荐
qbm123456789的博客
11-25 1万+
实时数据使用final 最为保险。 实时数据求和用final + group by 最为保险 一、实时数据获取最新订单状态并去重 1. 使用final （推荐） 去重并取最新的数据 select order_number --订单号 ,id --产品ID ,cnt--产品数量 ,price--产品当时价格 from a final where no='1234567' 2. 使用group by --数量共4 产品65 2个 产品66 2个 select order_number --订单号
clickhouse数据去重函数介绍（count distinct）
元星的博客，一起努力呀
04-22 1620
2.groupBitmap仅支持无符号整形值去重， uniqExact支持任意类型去重。1.整形值精确去重场景，groupBitmap 比 uniqExact至少快 2x+非精确去重函数：uniq、uniqHLL12、uniqCombined。精确去重函数：uniqExact、groupBitmap。3.非精确去重场景，uniq在速度上有优势。测试数据量：2000w。
clickhouse中使用ReplicatedMergeTree表引擎数据去重问题
weixin_44142032的博客
08-23 2166
然后使用ReplicatedMergeTree表引擎进行数据insert 插入数据，插入相同主键的数据，数据去重了。需要注意的是，由于ClickHouse的ReplicatedMergeTree引擎并不保证严格的数据唯一性（特别是在高并发写入场景下），因此在需要严格保证数据唯一性的应用场景中，可能需要结合其他机制（如应用层面的唯一性约束、使用具有唯一性约束的表引擎等）来实现。：数据写入表引擎为ReplicatedMergeTree的时候，过程是什么样的，副本间的数据如何同步的？对于主节点插入数据而言，
clickhouse去重复数据解决方案
WYT11的博客
06-04 1142
因为我们的maxwell对接rabbitmq rabbitmq监听的是mysql的belog日志文件，所以mysql数据的实时操作都会同步数据到maxwell中从而导致新增插入一条，修改插入一条，删除插入一条，导致同一条数据有大量的重复数据。
通过深挖Clickhouse源码，数据去重精通~
03-02 3846
在sql中大数据领域是如何去重的，Clickhouse给你答案
ClickHouse 集成Bitmap(2022-01-16更新)
qq_40694671的博客
08-17 2722
ClickHouse 位图位图函数groupBitmapState 位图函数 位图对象有两种构造方法。一个是由聚合函数groupBitmapState构造的，另一个是由Array Object构造的。同时还可以将位图对象转化为数组对象。 我们使用RoaringBitmap实际存储位图对象，当基数小于或等于32时，它使用Set保存。当基数大于32时，它使用RoaringBitmap保存。这也是为什么低基数集的存储更快的原因。 groupBitmapState 将某一列压缩为一个位图对象。 ...
ClickHouse在苏宁用户画像场景的实践.pdf
04-01
内容包括ClickHouse的技术特点、苏宁如何使用ClickHouse、ClickHouse集成Bitmap用户画像场景实践、精确去重计数性能测试、ClickHouse在苏宁使用场景等方面。 ClickHouse技术特点：ClickHouse是一款高性能的列存储...
苏宁用户画像：ClickHouse的高速去重与实践
ClickHouse是一款备受瞩目的列式数据库系统，因其快速的速度、频繁的特性更新、高质量的软件、物化视图功能、高基数查询能力以及精确去重计数功能而被选为苏宁的重要数据处理工具。 在选择ClickHouse的原因部分，...
Clickhouse如何完全保证数据的去重
最新发布
goTsHgo的博客
09-14 2869
ClickHouse通过一系列从底层到应用层的多层次机制来完全保证数据去重，包括基于主键的去重策略、等特殊引擎的使用、数据合并操作中的去重优化、查询优化中的去重功能，以及副本管理和批量操作中的去重控制。这些机制共同确保ClickHouse在处理大规模数据的同时，能够保持数据的一致性和准确性。
ClickHouse单表数据重复如何去重
weixin_44830864的博客
02-01 2126
一般生产环境的表都会有更新字段，数据更新的话，如何去掉老数据可以参考我的另一篇。这里准备了两个测试表，表一为原表，表二为重复表。一.数据表数据一致且翻倍。
clickhouse重复数据处理
winsanity的博客
10-27 6870
clickhouse重复数据处理 1.重复数据产生原因 正常我们使用MergeTree引擎创建表，虽然MergeTree拥有主键，但是它的主键没有唯一键的约束，这就意味着即便多行数据的主键相同，它们还是能够被正常写入。这里如果需要去重，可以使用 ReplacingMergeTree，它能够在合并分区时删除重复的数据，但是只能对同一分区的数据去重，且去重依据是order by排序键。 2.使用ReplacingMergeTree引擎创建表 create table replace_test( id Stri
clickhouse 去重方式
tanruixing的博客
08-30 2517
clickhouse去重
ClickHouse Bitmap用户画像存储方案性能测试
b379685397的博客
11-15 3739
一、环境准备 机器性配置： 4H8G JDK 1.8 二、测试流程： 1、制造测试数据 造了350个用户标签，用户userId约25亿，从以下几个角度验证计算性能 ┌─ln───────────────────┬─lv───────────┬───────uv─┐ │ 测试 │ 测试1 │ 0 │ │ 手机型号 │ vivo │ 95 │ │ 手机型号 │ 华为...
雨流计数法 clickhouse
damenggege123的专栏
09-06 508
clickhouse优势 1，速度快 2，函数多功能强大 3，支持sql使用方便 下面通过雨流计数思想用sql统计信号值波动次数 计算加速踏板使用次数 with acc_ped as sig ,neighbor(sig,-1) as psig ,sig-psig as dsig ,neighbor(dsig,1) as dnsig ,if(dsig>0 and dnsig<0 ,sig,null) as msig select count(msig) from veh_data t.
clickhouse之bitmap
普普通通程序猿的博客
08-29 6859
1. bitmap知多少 2. clickhouse中的bitmap函数 3. clickhouse+bitmap的使用场景
子查询
weixin_40055163的博客
10-17 282
子查询 1 子查询概述 概念：查询中嵌套查询，称嵌套查询为子查询。 查询工资最高的员工信息 1 查询最高的工资是多少 9000 代码如下： SELECT MAX(salary) FROM emp; 运行结果如图所示： 2 查询员工信息，并且工资等于9000的。代码如下： SELECT * FROM emp WHERE emp.`salary` = 9000; 运行结果如图所示： 一条sql就完成这个操作。子查询。代码如下： SELECT * FROM emp WHERE emp.`salary` =
【clickhouse】clickhouse的系统表
九师兄
12-04 3966
1.概述 转载：clickhouse的系统表 在日常使用clickhouse中经常会遇到很多问题，有时候需要去查系统表，但是对于我们来说，大部分的系统表的字段名称都不知道，看到了也不知道啥意思，下面我就整理一下clickhouse系统表的字段注释。 2.系统表 系统表用于实现系统的部分功能，并提供对有关系统如何工作的信息的访问。 不能删除系统表(但可以执行DETACH)。 系统表在磁盘上没有数据或元数据的文件。服务器在启动时创建所有系统表。 系统表是只读的。 它们位于 ‘system’ 数据库中。 2.1.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值