ClickHouse和ES在人群圈选上的对比

最新推荐文章于 2024-03-08 09:11:58 发布
原创 最新推荐文章于 2024-03-08 09:11:58 发布 · 1.6k 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#elasticsearch #大数据 #big data

本文探讨了ES在标签存储上的痛点，如导入时间长、字段类型不可变和非实时更新，并指出ClickHouse在性能、写入速度和数据压缩方面的优势。ClickHouse支持SQL，简化查询操作。文章还介绍了Bitmap数据结构及其在位运算中的应用，以及RoaringBitmap的压缩算法和性能优势。此外，分享了ClickHouse标签表设计的两种策略和Hive数据导入ClickHouse的途径，特别是利用WaterDrop工具进行高效转换。

ClickHouse和ES在人群圈选上的对比

ES标签存储的痛点

  • 标签导入到ES的时间过长，需要等待各种数据准备就绪，才能关联查询
  • Mapping在建好之后不能更改字段类型
  • 新增或修改标签，不能够实时进行
  • ES的DSL语法对用户不太友好

ClickHouse替代ES标签存储

  • 相同数据量下，ClickHouse的聚合性能优于ES
  • ClickHouse写入吞吐量优于ES
  • ClickHouse数据压缩优于ES
  • ClickHouse采用SQL语法，学习成本低

ES人群圈选

ES圈选过程

ClickHouse人群圈选

ClickHouse人群圈选

ClickHouse标签存储和人群圈选的优势

  • 高效的批量数据导入性能
  • 实时update的能力
  • 具备添加/减少列的DDL的能力
  • 指定任意列作为过滤条件的高效查询能力

ClickHouse集成Bitmap

什么是Bitmap

  • 通过一个bit数组来存储特定数据的一种数据
最低0.47元/天 解锁文章
《ClickHouse企业级应用：入门、进阶与实战》1 全面了解ClickHouse
AI天才研究院
01-31 1万+
近年来，ClickHouse发展势头迅猛，社区、大厂纷纷跟进使用。面对万亿级的数据查询分析也能做到亚秒级响应。那么，ClickHouse 到底是何方神圣？为什么如此受青睐？各位看官，欲知 ClickHouse 为何方神圣，且往下看。本章我们先来了解什么是ClickHouse，内容包括ClickHouse是什么，它具有哪些特性，适用哪些应用场景等。1.1 ClickHouse 概述本节介绍 ClickHouse 是什么、发展历程，以及ClickHouse在 OLAP 生态中的位置。同时，简单介绍了 OLAP
Elasticsearch与Clickhouse数据存储对比 | 京东云技术团队
JDDTechTalk的博客
05-24 970
京喜达技术部在社区团购场景下采用JDQ+Flink+Elasticsearch架构来打造实时数据报表。随着业务的发展Elasticsearch开始暴露出一些弊端，不适合大批量的数据查询，高频次分页导出导致宕机、存储成本较高。
Hbase、Kudu和ClickHouse横向对比V2.0
热门推荐
super_chenzhou
07-30 2万+
Hbase、Kudu和ClickHouse横向对比
Clickhouse & Elasticsearch 选型对比
最新发布
qq_35667076的博客
03-08 4313
Clickhouse是俄罗斯搜索巨头Yandex开发的完全列式存储计算的分析型数据库。ClickHouse在这两年的OLAP领域中一直非常热门，国内互联网大厂都有大规模使用。Elasticsearch是一个近实时的分布式搜索分析引擎，它的底层存储完全构建在Lucene之上。简单来说是通过扩展Lucene的单机搜索能力，使其具有分布式的搜索和分析能力。今天很多用户在实际的业务场景中，常常面对ClickHouse和Elasticsearch技术选型的难题。
elasticsearch（es）在用户画像业务上的应用【elasticsearch（es）性能调优】
老艮头的后知后觉
12-24 5782
1、关于用户画像 用户画像是以用户为中心，从不同角度抽取信息，抽象成标签。这些标签一般都会很多，针对不同的业务需求、应用场景会刻画不同的标签。可以通过标签来圈选适合的人群，来进行精准投放。广告系统、活动营销、内容推荐都可以是基于用户画像的应用。 2、标签到底能有多少 这个和业务体量、业务流程、产品形态都有密切关系。 互联网行业的用户规模往往千万乃至上亿，那么可能各区域、各行业、各阶层、各年龄段都能覆盖，用户的天然属性就可以抽象的维度就会很多。再加上和业务相关的各种属性，比如用户的浏览行为、购买行为、售后行为
ClickHouse为何能超越Elasticsearch？
夜尽天明
05-09 2503
ClickHouse还有一些其他的优点，比如异步的多主复制技术，能保证系统在不同副本上保持相同的数据，大多情况下能故障后自动恢复；采用SQL语法，比ES的DSL更加简单，学习成本更低……另外，ClickHouse也有一些缺点：•没有完整的事务支持。•无法像ES一样提供全文检索功能。•无法动态添加字段，需要提前定义好表schema。•无法支持高并发查询，默认配置QPS为100。•不适合高频地写入，否则会导致后台合并无法跟上新分区数量。
相比ES，ClickHouse简直不要太香！
石杉的架构笔记
05-24 4970
文章来源：【公众号：唯技术】目录背景日志系统演进之路‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍技术详解前端日志查询系统正确使用姿势背景唯品会日志系统 dragonfly 1.0 是基于 EFK 构建，于 2014 年服务至今已长达 7 年，支持物理机日志采集，容器日志采集，特殊分类日志综合采集等，大大方便了全公司日志的存储和查询。随着公司的业务发展，日志应用...
ClickHouse与ES的优劣对比
damimi00的博客
08-05 1万+
优点：凝天小说网 https://www.2792.info ClickHouse写入吞吐量大，单服务器日志写入量在50MB到200MB/s，每秒写入超过60w记录数，是ES的5倍以上。 查询速度快，官方宣称数据在pagecache中，单服务器查询速率大约在2-30GB/s；没在pagecache的情况下，查询速度取决于磁盘的读取速率和数据的压缩率。。 ClickHouse比ES服务器成本更低。一方面ClickHouse的数据压缩比比ES高，相同数据占用的磁盘空间只有ES的1/3到1/30，节省了磁盘空间.
ClickHouse：人群圈选业务的大杀器
阿里云开发者
02-04 2564
简介：随着数据时代的发展，各行各业数据平台的体量越来越大，用户个性化运营的诉求也越来越突出，用户标签系统，做为个性化千人千面运营的基础服务，应运而生。如今，几乎所有行业（如互联网、游戏、教育等）都有实时精准营销的需求。针对复杂条件过滤的场景，ClickHouse对多条件筛选流程做出优化，扫描的数据量更小，性能也较ES而言更高效。什么是人群圈选随着数据时代的发展，各行各业数据平台的体量越来越大，用户个性化运营的诉求也越来越突出，用户标签系统，做为个性化千人千面运营的基础服务，应运而生。如今，几乎所有行业（如互
ClickHouse在广告实时圈人业务中的技术实践与挑战
文档详细介绍了ClickHouse在处理大宽表、实时更新、高并发查询等业务挑战时的优势，以及对比了业界常见如Hive、MySQL、ElasticSearch等解决方案的优缺点，并探讨了ClickHouse的ReplacingMergeTree引擎的适用性和局限...
精选资源
Integrating+BitMap+Structure+deeply+inside+ClickHouse.pdf
12-15
BitMap的压缩算法，如Roaring bitmap，进一步提高了空间效率和运算速度，使得Roaring在许多开源项目，如Apache Lucene、Solr、Elasticsearch、Druid、Spark、Hive和Kylin等中被广泛采用。 Bitmap的优势在于其高效的...
ES 和 Clickhouse 查询能力对比，实践结果根本料不到……
架构文摘
05-03 1230
Elasticsearch 是一个实时的分布式搜索分析引擎，它的底层是构建在Lucene之上的。简单来说是通过扩展Lucene的搜索能力，使其具有分布式的功能。ES通常会和其它两个开源组件logstash（日志采集）和Kibana（仪表盘）一起提供端到端的日志/搜索分析的功能，常常被简称为ELK。Clickhouse是俄罗斯搜索巨头Yandex开发的面向列式存储的关系型数...
ClickHouse和Elasticsearch压测对比，谁才是yyds？
石杉的架构笔记
09-04 531
文章来源：https://my.oschina.net/u/4090830/blog/5570795目录1 需求分析2 测试环境准备3 采集工具准备4 压测执行及结果分析1 需求分析1.1 分析压测对象1）什么是 ClickHouse 和 ElasticsearchClickHouse 是一个真正的列式数据库管理系统（DBMS)。在 ClickHouse 中，数据始终是按列存储的，包括矢量（向量或...
基于Clickhouse 的用户圈选实践
张普的专栏
05-23 1497
1. 背景在伴鱼，我们努力了解我们的用户，旨在为用户提供更好的服务。APP 内容推荐，需要根据用户特征来决定推送内容；促销活动，需要针对不同的用户群体设计不同的活动方案；线上产品售卖，也需要了解用户喜好，才能更好地把产品卖给用户。为此，我们搭建了用户画像平台。本文将首先探讨平台的功能需求、标签体系定位，随后介绍平台的架构和具体功能实现。2. 功能用户画像平台把重点放在了分...
相比ES，ClickHouse简直不要太香
强哥叨逼叨
05-25 3211
目录 背景 日志系统演进之路 技术详解 前端日志查询系统 正确使用姿势 背景 唯品会日志系统 dragonfly 1.0 是基于 EFK 构建，于 2014 年服务至今已长达 7 年，支持物理机日志采集，容器日志采集，特殊分类日志综合采集等，大大方便了全公司日志的存储和查询。 随着公司的业务发展，日志应用场景逐渐遇到了一些瓶颈，主要表现在应用数量和打印的日志越来越多，开发需要打印更多日志，定位业务问题，做出运营数据分析。 另外外部攻击问
clickhouse 的使用场景 人群圈选
qq_35640866的博客
08-03 361
optimize的执行周期可在业务的实时性需求与计算资源之间做权衡。标签的不断更新将会使得ES不得不频繁的重构索引，这将对ES的性能造成巨大的开销。4、索引的构造过程是复杂的，耗时的。针对以上sql，ES的执行会对3个标签分别做3次索引扫描，之后再将3次扫描的结果做merge。1、ClickHouse是一款彻底的列式存储数据库，且ClickHouse的查询不依赖索引。6、开源ES缺少完备的sql支持，查询请求的json格式复杂。3、对搜索的数据需要构建索引， 不构建索引，不能搜索。
ClickHouse与Elasticsearch比较总结
墨痕诉清风的博客
09-20 3334
目录 背景 分布式架构 存储架构 写入链路设计 Elasticsearch 再谈Schemaless 查询架构 计算引擎 数据扫描 再谈高并发 性能测试 日志分析场景 access_log（数据量197921836） trace_log（数据量569816761） 官方Ontime测试集 用户画像场景（数据量262933269） 二级索引点查场景（数据量1000000000） 数据导入性能对比 结语 优点 缺点 ClickHouse替换ES的可行性方案 参考
clickhouse和es性能对比
07-08
ClickHouse和Elasticsearch（ES）是两种不同的数据存储和查询系统，它们在性能方面有一些区别。 ClickHouse是一种列式数据库管理系统，专注于高性能的OLAP（联机分析处理）。它被设计用于处理大规模数据集的复杂...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值