微信 ClickHouse 实时数仓的实践经验

《数据仓库》一文读懂数据仓库建设 数据仓库建设 一、数据仓库概念 1.数仓架构 ​ 我们在谈到数据仓库,都会提到数仓架构,那么数仓架构到底是什么呢?首先,架构就是把一个整体工作按需切分成不同部分的内容,由不同角色来完成这些分工,并通过建立不同部分相互沟通的机制,使得这些部分能够有机的结合为一个整体,并完成这个整体所需要的所有活动。而数仓架构就可以理解为是构成数据仓库的组件以及之间的具有交互机制的关系。 ​ 如上图所示,数仓的数据源可能来自业务系统的数据,或者外部获取的数据,或者从线下文件导入的数据。通过抽取工作,将这些数据存储到数仓的原始 阅读详情

作者:微信WeOLAP团队&腾讯云数据仓库 Clickhouse 团队

微信作为一款国民级应用,已经覆盖了社交、支付、出行等人们生活的方方面面。海量多样化的业务形态,对数据分析提出了新的挑战。为了满足业务数据分析的需求,微信 WeOLAP 团队联手腾讯云,共建千台规模、数据 PB 级、批流一体的 ClickHouse 数据仓库,实现了 10 倍以上的性能提升。下文将由浅入深,为大家揭晓微信在 ClickHouse 实时数仓实践中积累的经验及方法。

一、微信遇到的挑战

一般来说,微信主要的数据分析场景包含以下几个方面:

1.科学探索:服务于数据科学家,通过即席查询做业务上的归因推断;

2.看板:服务于运营和管理层,展示所关注的核心指标;

3.A/B 实验平台:服务于算法工程师,把新的模型,放在 A/B 实验平台上做假设检验,看模型是否符合预期。

除此以外,还有实时监控、日志系统明细查询等场景。

图片

在所有的场景当中,使用者都有非常重要的诉求——快:希望查询响应更快,指标开发更快完成,看板更新更及时。与此同时,微信面临的是海量的数据,业务场景中“单表日增万亿”很常见,这就对下一代“数据分析系统”提出新的挑战。

在使用 ClickHouse 之前,微信使用的是 Hadoop 生态为主的数仓,存在以下这些问题:

1.响应慢,基本上是分钟级,可能到小时,导致决策过程长;

2.开发慢,由于传统的数仓理念的多层架构,使得更新一个指标的成本很高;

3.架构臃肿,在微信业务体量规模的数据下,传统架构很难做到流批一体。进而导致,代码需要写多套、数据结果难以对齐、存储冗余。经过十几年的发展之后,传统的 Hadoop 生态的架构变得非常臃肿,维护难度和成本都很大。

所以,微信一直在寻求更轻量、简单敏捷的方案来解决这些问题。经过一番调研,在百花齐放的 OLAP 产品中,最终选定了 ClickHouse 作为微信 OLAP 的主要核心引擎。主要有两个原因:

1.效率:在真实数据的实验场景下,ClickHouse 要比 Hadoop 生态快 10 倍以上(2020 年底测试);

2.开源:微信的 A/B 实验、线上特征等场景会有些个性化需求,需要对引擎内核做较多改动;

因此,微信尝试在 OLAP 场景下,构建基于 ClickHouse 计算存储为核心的“批流一体”数仓。

但是,使用原生的 ClickHouse,在真正放量阶段出现了很多问题:

1.稳定性:ClickHouse 的原始稳定性并不好,比如说:在高频写入的场景下经常会出现 too many part 等问题,整个集群被一个慢查询拖死,节点 OOM、DDL 请求卡死都比较常见。另外,由于 ClickHouse 原始设计缺陷,随数据增长的依赖的 zookeeper 瓶颈一直存在,无法很好解决;微信后期进行多次内核改动,才使得它在海量数据下逐步稳定下来,部分 issue 也贡献给了社区。

2.使用门槛较高:会用 ClickHouse 的,跟不会用 ClickHouse 的,其搭建的系统业务性能可能要差 3 倍甚至 10 倍,有些场景更需要针对性对内核优化。

二、微信和腾讯云数据仓库共建

此时,腾讯云数据仓库 Clickhouse 团队积极深入业务,主动与微信团队合作,双方开始共同解决上述问题。腾讯云数据仓库 Clickhouse 提供全托管一站式的全面服务,使得微信团队不需要过多关注稳定性问题。另外,双方团队积累了丰富查询优化经验,共享经验更有利于 Clickhouse 性能极致提升。

图片

微信跟腾讯云数据仓库 Clickhouse 的合作,从今年 3 月份开始,在验证期小规模试用 ClickHouse 后,业务一直在快速增长,双方开始共建进行稳定性和性能上的优化。主要做了两件事:一个是建立了整个 ClickHouse OLAP 的生态,另外一个是做了的探索出贴近业务的查询优化方法。

图片

三、共建 ClickHouse OLAP 的生态

要想比较好地解决 ClickHouse 易用性和稳定性,需要生态支撑,整体的生态方案有以下几个重要的部分:

1.QueryServer:数据网关,负责智能缓存,大查询拦截,限流;

2.Sinker:离线/在线高性能接入层,负责削峰、hash 路由,流量优先级,写入控频;

3.OP-Manager:负责集群管理、数据均衡,容灾切换、数据迁移;

4.Monitor:负责监控报警,亚健康检测,查询健康度分析,可与 Manager 联动;

图片

微信 WeOLAP 团队和腾讯云重点在以下方面进行了合作攻坚:

1.高性能接入:微信的吞吐达到了十亿级别,实时接入方面,通过令牌、反压的方案,比较好地解决了流量洪峰的问题。另外通过 Hash 路由接入,使数据落地了之后可直接做 Join,无需 shuffle 实现的更快 Join 查询,在接入上也实现了精确一次。离线同步方案上,微信跟大多数业界的做法基本上一致,在通过预构 Merge 成建成 Part,再送到线上的服务节点,这其实是种读写分离的思想,更便于满足高一致性、高吞吐的场景要求。

图片

2.极致的查询优化:ClickHouse 整个的设计哲学,要求在特定的场景下,采用特定的语法,才能得到最极致的性能。为解决 ClickHouse 使用门槛高的问题,微信把相应的优化经验落地到内部 BI 平台上,沉淀到平台后,使得小白用户都可以方便使用 ClickHouse。通过一系列优化手段,在直播、视频号等多个 Case 实现 10 倍以上性能提升。

图片

基于共建的 ClickHouse 生态,在微信有以下的典型应用场景:

1.BI 分析/看板:由于科学探索是随机的,很难通过预构建的方式来解决,之前用 Hadoop 的生态只能实现小时到分钟的级别。目前 ClickHouse 优化完之后,在单表万亿的数据量下,大多数的查询,P95 在 5 秒以内。数据科学家现在想做一个验证,非常快就可以实现。

图片

2.A/B 实验平台:早期做 A/B 实验的时候,前一天晚上要把所有的实验统计结果,预先聚合好,第二天才能查询实验结果。在单表数据量级千亿 / 天、大表实时 Join 的场景下,微信前后经历了几个方案,实现了近 50 倍的性能提升。从离线到实时分析的飞跃,使得 P95 响应<3S,A/B 实验结论更加准确,实验周期更短 ,模型验证更快。

图片

3.实时特征计算:虽然大家普遍认为 ClickHouse 不太擅长解决实时相关的问题,但最终通过优化,可以做到扫描量数十亿,全链路时延<3 秒,P95 响应近 1 秒。

图片

四、性能的显著提升

目前,微信当前规模千台,数据量 PB 级,每天的查询量上百万,单集群 TPS 达到了亿级,而查询耗时均值仅需秒级返回。ClickHouse OLAP 的生态相对于之前的 Hadoop 生态,性能提升了 10 倍以上,通过流批一体提供更稳定可靠的服务,使得业务决策更迅速,实验结论更准确。

五、共建存算分离的云原生数仓

ClickHouse 原始的设计和 Shard-Nothing 的架构,无法很好地实现秒级伸缩与 Join 的场景;因此下一个微信和腾讯云数据仓库 ClickHouse 的共建目标,是实现存算分离的云原生数仓:

1.弹性扩容:秒级弹性能力,用户只为使用付费,实现高峰查询更快,低峰成本更省;

2.稳定性:无 ZK 瓶颈,读写易分离,异地容灾;

3.易运维:数据容易均衡,存储无状态;

4.功能全:专注于查询优化与 Cache 策略、支持高效多表 Join;

存算分离的云原生数仓能力,明年将会在腾讯云官网上线,敬请期待!

图片

本文章由微信技术架构部-WeOLAP 团队出品,「WeOLAP」专注于用前沿大数据技术解决微信海量数据高性能查询问题。

腾讯云数据仓库 Clickhouse 10 元新客体验活动火爆进行中 ↓↓↓



关注“腾讯云大数据”公众号,技术交流、最新活动、服务专享一站Get~

 

Clickhouse实时数仓建设 绝大多数是读取请求;数据以相当大的Batch进行更新;已存储的数据不能随意修改;对于读取,从数据存储中提取相当多的行,但是只提取列的一小部分;大宽表,即每个表包含着大量的列;查询相对较少(QPS很小);对于简单查询,允许有较低的延迟,比如50ms~100ms;列中的数据相对较小,比如字符串长度很短;处理单个查询时需要高吞吐量;事务非必须;对数据一致性要求低;每一个查询有一个大表,除了它其他都是很小的;查询结果明显小于源数据。 阅读详情

相关推荐

【Flink实时数仓】数据仓库项目实战 《五》流量域来源关键词粒度页面浏览各窗口汇总表 【DWS】

【Flink实时数仓】数据仓库项目实战 《五》流量域来源关键词粒度页面浏览各窗口汇总表 【DWS】

m0_47139992的博客 698

ClickHouse数据仓库和OLAP

在实际应用中,可以根据具体的需求和数据量选择合适的硬件和部署方式,以获得最佳的性能和可扩展性。表是数据存储和查询的基本单位。是一种用于查询和分析大规模数据集的技术,它通过将数据组织成多维数据模型来提供快速的交互式查询和复杂分析能力。它的高性能和可扩展性使得它能够快速处理大规模数据,并提供实时的查询和分析能力。的表,然后插入数据,接着查询数据,执行聚合查询,创建索引和删除数据等操作。使用了列式存储和向量化执行的技术,以提供高效的数据查询和复杂的分析功能。的查询和分析功能,可以实现实时的数据分析和决策支持。

互联网知识分享 504

Java 大视界 -- Java 大数据实时数仓的构建与运维实践(55)

实时数仓作为大数据架构中的关键环节,是一种能够对数据进行实时处理与分析的数据仓库系统。与传统数仓主要处理历史数据的批量处理模式不同,实时数仓更强调数据的时效性,追求数据从产生到分析的低延迟。在电商行业,实时数仓的价值尤为突出。以每年“双11”购物狂欢节为例,某头部电商平台在活动期间每秒订单生成量可达数万笔。通过实时数仓,平台运营团队能够实时监控各类商品的销售数据,包括销量、销售额、客单价等关键指标。

【青云交】华为云云享专家 | 阿里云开发者社区专家博主 技术圈个人影响力前 9 | 博客之星 TOP12 优快云 首位四榜(原力榜 / 作者周榜 / 领军人物 / 综合热榜)榜首,破平台纪录! 苏州地区全榜霸榜,感恩全网十多万粉丝同行! 2460

性能至上:ClickHouse才是数据库的未来

先来看看性能对比,会发现mysql弱爆了~ClickHouse是一款高性能的列式数据库管理系统(DBMS),主要用于在线分析处理(OLAP)。由俄罗斯搜索引擎公司Yandex基于自身大规模数据聚合和分析的需求而开发,并在2016年开源。ClickHouse以其卓越的查询性能在大数据领域迅速获得了广泛的关注和应用。ClickHouse支持SQL查询语言,能够在实时生成分析数据报告的同时,保持对大数据量级的快速响应。

dont worry about it的博客 3321

【clickhouse】微信基于Clickhouse的实时数仓

亚秒级响应:亿行数据亚秒响应、万亿行数据秒级返回,支持A/B实验平台,BI分析等复杂指标计算场景,可追踪明细;海量数据低时延:百亿级吞吐下的秒级接,入时延,满足实时指标统计、异常检测需求;极简架构:批流一体, T+1、Realtime分析模型统一,简单易运维;视频号等推荐系统的对个性化体验强烈诉求,催生了“亚秒级”分析系统的诞生。高可用:数据接入有精确一次保障,单集群99.99% SLA。

九师兄 1202

HPE磁盘阵列管理04——MSA事件

本文介绍了HPE MSA存储系统的事件处理机制,重点分析了常见磁盘故障事件及其解决方案。文章首先定义了MSA事件的五个严重级别(严重、错误、警告、信息和解决),然后详细列举了多个典型事件案例(如事件1、3、6、8、172等),包括每种事件的触发条件、对系统的影响以及具体修复步骤。针对磁盘故障场景,文章提供了更换磁盘、重建磁盘组、取消隔离等操作建议,并强调应及时配置备用磁盘以降低数据风险。最后指出更详细的事件说明可参考《MSA事件描述参考指南》,并提供了HPE官方手册下载链接。全文为技术人员处理MSA存储故障

istrangeboy&begin zero的博客 1124

列式数据库ClickHouse,大宽表聚合、报表一下全搞定

关系型数据库( MySQL、Oracle、PostgreSQL)非关系型数据库(Redis、MongoDB、Cassandra、Neo4j)全文搜索引擎和分布式文档存储系统(Elasticsearch )列式数据库(ClickHouse)每种都在各自的领域表现出色,但当涉及到大规模数据分析和复杂查询时,ClickHouse 出现在了舞台上。ClickHouse使用列式存储,这意味着它可以高效地执行聚合、过滤和排序操作。面试经常问到大宽表查询聚合怎么办,这不是解决方案来了嘛!!

小王博客基地 3369

使用Tansformer分割三维腹部多器官--UNETR实战

不会 transformer 没关系,本教程开箱即用。Tina姐总算对transformer下手了,之前觉得难,因为刚开始学序列模型的时候就没学会。然后就一直排斥学transformer。这两周没什么事,加上MONAI有现成的教程,就打算先跑通后,再学理论。然后,顺利的跑通了代码,再学了一周理论,发现它也不过如此嘛,入门还是很容易的。有同学想了解的transformer的话,可以先看完这个实战教程,如果感兴趣,后续会出一个transformer入门路线。利用纯Transformers作为编码器来学习输入量的

Tina姐的博客 1万+

微信 ClickHouse 实时数仓的最佳实践

微信作为一款国民级应用,已经覆盖了社交、支付、出行等人们生活的方方面面。海量多样化的业务形态,对数据分析提出了新的挑战。为了满足业务数据分析的需求,微信 WeOLAP 团队联手腾讯云,共建千台规模、数据 PB 级、批流一体的 ClickHouse 数据仓库,实现了 10 倍以上的性能提升。...

东境物语 927

NLP-Beginner 任务一:基于机器学习的文本分类(超详细!!)

NLP-Beginner 任务一:基于机器学习的文本分类传送门一. 介绍1.1 任务简介1.2 数据集1.3 流程介绍二. 特征提取2.1 词袋特征(Bag-of-word)2.2 N元特征 (N-gram)三. 最优化求解3.1 Softmax回归介绍3.2 损失函数3.3 梯度下降3.4 学习率四. 代码及实现4.1 实验设置4.2 结果展示4.3 代码新的改变功能快捷键合理的创建标题,有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、

0oTedo0 9941

MAC(m1)-VMWare Fusion安装CentOS7.9

MAC(m1)-VMWare Fusion安装CentOS7.9

兴趣是最好的老师 1771

ByteHouse:基于ClickHouse的实时数仓能力升级解读

全篇将从两个版块讲解ByteHouse的技术业务场景及实践经验。第一版块将核心介绍ByteHouse于字节内部的业务应用场景,以及使用ClickHouse打造实时数仓的经验。第二板块将集中讲解字节基于ByteHouse对金融行业实时数仓的现状的理解与思考。

m0_60025795的博客 1723

ASProxy64.dll导致jetbrains家的IDE都无法打开。

摘要:在Windows11系统中,JetBrains IDE无法启动,报错指向ASProxy64.dll文件。该第三方DLL被注入到JVM原生层,导致内存访问冲突(错误代码0xc0000005)。经排查发现此文件来自Astrill软件。解决方案为卸载Astrill后重启电脑,问题得以解决。该案例表明第三方DLL注入可能影响IDE正常运行,卸载相关软件是最直接的解决方法。(149字)

猿小白的博客 941

微信 ClickHouse 实时数仓的实践之路

微信作为一款国民级应用,已经覆盖了社交、支付、出行等人们生活的方方面面。海量多样化的业务形态,对数据分析提出了新的挑战。为了满足业务数据分析的需求,微信WeOLAP团队联手腾讯云,共建千台规模、数据 PB 级、批流一体的 ClickHouse 数据仓库,实现了10倍以上的性能提升。下文将由浅入深,为大家揭晓微信在 ClickHouse 实时数仓实践中积累的经验及方法。

karamos的专栏 1876

【毫米波混合波束成形】第3章 深度展开网络:将迭代优化嵌入计算图

相位提取算子 $P_\phi: \mathbb{C}^N \to \mathbb{C}^N$ 定义为逐元素相位归一化 $P_\phi(z) = \exp(j \cdot \angle z)$。该算子在复数域非全纯(Non-holomorphic),标准反向传播需扩展至Wirtinger微积分框架。对于复数变量 $z = x + jy$,Wirtinger导数定义:相位提取算子的Jacobian矩阵在极坐标下具有稀疏结构。

VectorShift的博客 409

Dify知识库文档批量下载神器:一键导出所有文件到本地

在使用Dify进行知识库管理的过程中,我们经常遇到一个实际问题:如何将已上传到知识库中的文档批量下载到本地?目前Dify的管理界面虽然功能强大,但暂时没有提供直接的UI界面来批量导出或下载知识库内的文档。这意味着如果我们需要将知识库中的文件备份到本地或进行离线处理,只能通过API接口来实现。本文将详细介绍如何利用Dify的REST API构建一个完整的知识库文档下载解决方案,这也是目前实现知识库文件批量下载到本地的唯一可行路径。🎉进入大模型应用与实战专栏 | 🚀查看更多专栏内容首先,我们需要在Dify的

羊城迷鹿的博客 3474

ClickHouse in Tecent WeChat-微信实时数仓实践(附下载)

扫码下载:推荐阅读: ChatGPT 4o 国内直接用 (新)!!! 世界的真实格局分析,地球人类社会底层运行原理 不是你需要中台,而是一名合格的架构师(附各大厂中台建设PPT) 长沙最大(中国领先)的创业俱乐部成立 腾讯XX集团数据湖项目建设方案(附下载)论数字化转型——转什么,如何转? 华为干部与人才发展手册(附PPT) 华为的数字化转型方法论 华为如何实施数字化转型(附PPT) 华为大数据解...

weixin_45727359的博客 89

镜头调焦的 调整的是焦距还是像距?

在镜头 “调焦”(即日常拍照时的)中,调整的核心是,而非焦距。

AIoT深度探索者 | 嵌入式系统架构师 深耕物联网(IoT)与人工智能(AI)融合技术,聚焦​​边缘计算、图像开发、低功耗通信协议​​,致力于智能硬件,关注我获取最新技术文章信息与海量资源~ 1354

Flink+Clickhouse在广投集团实时数仓的最佳实践

更多内容关注微信公众号:fullstack888一、业务背景由于历史原因,大型集团企业往往多个帐套系统共存,包括国内知名ERP厂商浪潮、用友、金蝶、速达所提供的财务系统,集团财务共享中心的财务人员在核对财务凭证数据时经常需要跨多个系统查询且每个系统使用方式不一,同时因为系统累计数据庞大,制单和查询操作经常出现卡顿,工作效率非常低。数据中台天然就是为了解决数据孤岛和数据口径...

qianshanding0708的博客 745

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

基于 ByteHouse 构建实时数仓实践

更多技术交流、求职机会,欢迎关注数据的价值在于数据的在线化。实时计算起源于对数据加工时效性的严苛需求:数据的业务价值随着时间的流逝会迅速降低,因此在数据产生后必须尽快对其进行计算和处理,从而最大效率实现数据价值转化,对实时数仓的建设需求自然而然的诞生了。而建设好实时数仓需要解决如下几个问题:一、稳定性:实时数仓对数据的实时处理必须是可靠的、稳定的;二、高效数据集成:流式数据的集成必须方便高效,要求能进行高并发、大数据量的写入;

m0_60025795的博客 379

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,

ClickHouse 介绍

介绍ClickHouse的重要特性以及适用场景

陈颜的博客 2151

VB摄像头监控

该VB模块可对摄像头捕获的画面进行录像等,可在创建的窗口进行控制

大数据分析之ClickHouse技术选型

大数据分析之ClickHouse优质文章汇总导航,关注我,不迷路

oschina_41731918的博客 1197

微信ClickHouse 实时数仓实践(PPT)

推荐阅读: 世界的真实格局分析,地球人类社会底层运行原理 不是你需要中台,而是一名合格的架构师(附各大厂中台建设PPT) 企业IT技术架构规划方案 论数字化转型——转什么,如何转? 华为干部与人才发展手册(附PPT) 企业10大管理流程图,数字化转型从业者必备! 【中台实践】华为大数据中台架构分享.pdf 华为的数字化转型方法论 华为如何实施数字化转型(附PPT) 超详细280页D...

weixin_45727359的博客 329

Flink写入Doris的实时应用

flink写入Doris的实时应用 引言 做实时数仓的同学对目前比较流行的KFC(Kafka\Flink\ClickHouse)套餐非常熟悉,其实KFD也不错。 大数据组件越来越丰富,但是还没有出现一个兼容OLAP和OLTP的工具,即满足DB和日志的实时存储和复杂查询,又能满足在此基础上的数仓建设,我们尝试过ClickHouse,缺点在于难维护、实时写入效率低,内部碎片合并和数据走zk难以实现大量数据的实时存储;之后使用过impala+kudu,缺点是impala实在是太占用内存,两者结合用起来比较费劲,也

提拉米苏的博客 8498

ByteHouse:基于 ClickHouse 的实时计算能力升级

ClickHouse是一个用于联机分析处理(OLAP)的列式数据库管理系统,源自俄罗斯的搜索引擎 Yandex。它的最大特点可以概括为”多快好省“。“多”——指集群规模多。在字节内部最大的集群规模是 2400 台,ClickHouse 可以完全支持。“快”——在大数据规模下,ClickHouse 也能提供秒级的单表查询性能,性能强。“好”——指无入侵式架构,可以轻松集成到现有的系统,可复用性好。“省”——ClickHouse 使用磁盘作为性能的基准,不使用内存,成本随着规模的扩展,可控性强。

m0_60025795的博客 764

火山引擎ByteHouse助力中国地震台网中心,快速构建一站式实时数仓

近日,中国地震台网中心与火山引擎达成合作,双方将围绕 ByteHouse 实时数仓展开合作。

m0_60025795的博客 187
上一篇: Flink 实践教程-入门(7):消费 Kafka 数据写入 PG
下一篇: Flink 实践教程-入门(8): 简单 ETL 作业
腾讯云大数据
博客等级 码龄6年 348粉丝 219原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值