一本揭秘字节万台节点ClickHouse背后技术实现的白皮书来了!

TRAE:字节跳动重构AI编程工作流的原生IDE AI编程正从‘代码补全’迈向‘意图驱动构建’,其核心在于将自然语言需求转化为可执行、可追溯、可协作的软件逻辑链。TRAE通过任务驱动架构、多模型协同系统与沙盒化执行环境,实现了从‘人类写代码’到‘人机共构任务’的范式跃迁。它不依赖传统IDE外壳,而是以Monaco-Plus内核和边缘计算架构,支撑可视化流程编排、领域知识注入与实时验证闭环。在真实业务场景中(如ClickHouse看板生成、微信小程序搭建),TRAE显著降低非程序员的认知负荷,同时保障工程可控性。关键词‘TRAE’‘AI编程’高频关联,正反映 阅读详情

ClickHouse 开源于 2016 年,凭借性能方面的突出优势,在分析型数据库领域发展可谓风生水起。目前,国内外许多头部大厂都在深度使用 ClickHouse 技术。

在性能方面,ClickHouse 在 OLAP 场景下的性能超越同类产品数倍不止,它允许系统以亚秒级的延迟从 PB 级的原始数据生成报告,服务器吞吐量高达每秒数亿行。

但是将ClickHouse 引入企业级生产环境中,仍然存在问题。关于落地实践的坑,并不是业内所有团队都需要自己踩一遍,也不是所有团队都能负担得起这样的成本,我们要做的是吸取足够的经验,以及选择自研、采购等更加实际的解决方案。

在这一点上,字节跳动无疑是一家非常有代表性的国内企业:字节跳动从2017 年开始大规模启用 ClickHouse;作为其深度用户,字节跳动拥有国内规模最大的 ClickHouse 集群。

目前,字节跳动内部的ClickHouse 节点总数超过1.8万个,管理总数据量超过 700PB,最大的单个集群部署规模约为2400余个节点。

当前,字节跳动已将经过五年定制化改造的ClickHouse,沉淀为 ByteHouse,正式通过火山引擎对外提供服务。

从采用并改造开源产品,到上线商业版本对外服务,这是一条非常难走的路,同时也让其中的实践思考和经验更具参考价值。

最近,火山引擎ByteHouse 联合InfoQ 发布白皮书《从ClickHouse到ByteHouse》,深度介绍字节跳动万台节点ClickHouse背后的技术实现,本卷白皮书大致分为四个章节:

  1. ClickHouse 的介绍;

  2. ClickHouse 典型场景;

  3. 针对生产环境中的ClickHouse,ByteHouse 的技术优化思考;

  4. ByteHouse 的设计和演进思路。

其中,《从ClickHouse到ByteHouse》从第三章开始,重点介绍 ByteHouse 的优化思路。

目前,ByteHouse 对 ClickHouse 做了很多升级和优化,本次挑选了ByteHouse 对 ClickHouse 优化升级中非常重要的三个方面作为详细展开:

  1. 自研表引擎;

  2. 查询优化器;

  3. 弹性可扩展。

在自研表引擎模块,尽管ClickHouse 提供 MergeTree Family、Memory、File、Interface 等几十种不同的表引擎,但是在字节内部实际使用中,还是明显感觉到了一些表引擎不足以满足业务的使用需求,于是进行了相应的优化。

其中,重点介绍 了HaMergeTree 、HaUniqueMergeTree、HaKafka 三种表引擎。

8aaa0ead4e5e4e683f9af40d6159ccea.png

白皮书配图摘选:HaMergeTree副本协同原理

在查询优化器模块,ByteHouse对Optimizer进行了一年多的改造投入,全面升级产品能力,白皮书详细列举了ByteHouse在查询优化器上的改造与优化功能。

为了追求极致性能,ClickHouse 采用的是计算和存储节点强耦合的架构,不能根据各自实际需求分开扩容, 而且在节点扩展后数据无法自动重新分布的问题给ClickHouse扩展带来很多运维的麻烦。

ByteHouse 在改进与优化ClickHouse的过程中,也重点基于该架构进行了调整,如ByteHouse 在存储和计算上的拆解解耦,实现弹性可扩展的技术优化方案。

e2a0ad2b3d47408ce861905287a60692.png

白皮书配图摘选:计算存储分离架构

除此之外,《从ClickHouse到ByteHouse》还枚举出广告、金融、工业互联网三大行业的实践案例,这些都属于 OLAP 的典型应用行业,并从技术与企业落地等角度给出了当下企业在OLAP数据引擎选型的三个核心关注点。

点击阅读原文下载白皮书

字节跳动大数据研发实习面经:从简历到三面的完整复盘 大数据研发岗位面试考察的是对分布式计算与存储体系的整体理解,而非孤立的框架记忆。从Hadoop生态到实时计算引擎,Spark的Shuffle机制、Flink的状态管理与Checkpoint原理、Kafka的消息可靠性保障,共同构成了面试官评估候选人工程能力的关键维度。理解这些组件背后的设计思想,不仅有助于回答底层原理问题,更能支撑数据链路的性能优化与故障排查。在真实业务场景中,无论是离线数仓的ETL调优,还是实时报表的秒级延迟链路设计,都依赖对这些技术栈的深度掌握。以字节跳动大数据研发实习面试为切入点,完整 阅读详情

相关推荐

程序员技术决策操作系统:多数据库协同与跨语言架构设计

现代软件系统已超越单一技术栈的承载能力,数据库与编程语言的选择本质是数据模型、规模边界和运行时契约的综合权衡。理解MySQL的B+树页分裂、Redis的大Key阻塞、Go的Goroutine调度开销、Rust的所有权内存模型等物理层约束,才能避免‘用锤子钉一切’的认知窄带。技术选型不是功能比拼,而是面向高并发、实时分析、边缘计算等真实场景,在磁盘IO、网络吞吐、CPU并发与运维成本之间做理性取舍。本文基于多数据库协同、跨语言架构设计两大热词,揭示从MySQL到ClickHouse、从Java到Rust的演进

diaozhiwa5526的博客 306

ClickHouse 版本升级

ClickHouse 版本升级

style_boy的博客 3450

Abel逆变换及其求解方法

Abel逆变换常应用在轴对称的、光学薄的火焰、羽流或等离子体重建。

weixin_49783507的博客 8384

ClickHouse版本升级

clickhouse数据库升级

sfgagasfga的博客 2414

实战指南:基于华为Ascend NPU的大模型W8A8量化调优与精度提升

本文提供了一份基于华为Ascend NPU进行大模型W8A8量化的实战调优指南。详细介绍了从环境搭建、使用msmodelslim框架进行基础量化,到通过离群值抑制、校准集优化和量化回退等关键技术提升精度的全流程。旨在帮助开发者在华为NPU硬件上实现模型推理的显著加速,同时有效控制精度损失。

weixin_29227425的博客 274

lvds接口_LVDS,接口,时序讲解,非常好的文章

欢迎FPGA工程师加入官方微信技术群点击蓝字关注我们FPGA之家-中国最好最大的FPGA纯工程师社群1.1.1 LVDS接口分类1.1.1.1 单路6bit LVDS这种接口电路中,采用单路方式传输,每个基色信号采用6位数据,共18位RGB数据,因此,也称18位或18bit LVDS接口。此,也称18位或18bit LVDS接口。1.1.1.2 双路6bit LVDS这种接口电...

weixin_39639286的博客 1909

ClickHouse基础知识及与MySQL性能对比

Clickhouse是俄罗斯yandex公司于2016年开源的一个列式数据库管理系统,在OLAP领域像一匹黑马一样,以其超高的性能受到业界的青睐。基于shard+replica实现的线性扩展和高可靠采用列式存储,数据类型一致,压缩性能更高硬件利用率高,连续IO,提高了磁盘驱动器的效率向量化引擎与SIMD提高了CPU利用率,多核多节点并行化大查询不支持事务、异步删除与更新不适用高并发场景。

qq_35381456的博客 5941

FineReport SQL查询分页

打开模板>模板web属性>分页预览设置,选择为该模板单独设置,将默认的工具栏按钮全部清除掉,然后依次添加两个自定义按钮,一个邮件按钮,两个自定义按钮,一个Word格式,一个PDF按钮。如下所示:注:使用具体格式按钮,如邮件、Word格式、PDF按钮是为了JS直接使用控件名称获取空间方便修改其内容;

lep的博客 2431

clickhouse简介

OLAP名为联机分析,又可以称为多维分析,是由关系型数据库之父埃德加·科德(Edgar Frank Codd)于1993年提出的概念。顾名思义,它指的是通过多种不同的维度审视数据,进行深层次分析。为了实现上述这些操作,将常见的OLAP架构大致分成两类。第一类架构称为ROLAP(Relational OLAP,关系型OLAP)。顾名思义,它直接使用关系模型构建,数据模型常使用星型模型或者雪花模型,多维分析的操作,可以直接转换成SQL查询,但是这种架构对数据的实时处理能力要求很高,在大数据量下执行的sql查询会

隐0士的博客 1184

OpenClaw 报错 TypeError: Cannot read properties of undefined (reading ‘prototype‘):Node.js 版本不兼容

国产化环境中部署OpenClaw云边协同平台时,出现"TypeError: Cannot read properties of undefined (reading 'prototype')"报错。经分析发现根本原因是Node.js版本与依赖生态不兼容,新版本Node(如v21)移除了旧依赖使用的内部API。解决方案包括:1)使用nvm切换至兼容的Node 16/18 LTS版本;2)容器化部署固定Node版本;3)遵循官方推荐的引擎版本范围。该问题揭示现代工程中版本管理的重要性,

博客 2315

企业数字化转型解决方案架构设计:一个五维全景视角

本文系统探讨了企业数字化转型的架构设计框架,提出五维协同模型:企业架构作为战略罗盘,业务架构聚焦价值创造,应用架构实现能力载体,数据架构提供智能燃料,技术架构奠定基础支撑。文章深入分析了各架构域的核心要素、设计原则及相互关系,并指出数字化转型需通过渐进路径,结合战略引领、技术赋能和组织变革,构建有机统一的架构体系。该框架为企业应对数字化复杂性提供了系统性方法论,强调从整体视角实现技术与业务的深度融合。

金牌架构师 1257

高级DBA教你ClickHouse数据库无缝升级版本方法全网最详细

安装包要去官网下载 Clickhouse卸载 rpm -qa | grep clickhouse pm -e clickhouse-client-20.12.5.14-2.noarch rpm -e clickhouse-server-20.12.5.14-2.noarch rpm -e clickhouse-common-static-20.12.5.14-2.x86_64 rm -rf /etc/clickhouse-server/ 重新安装 rpm -ivh clickhouse-common-st

nasen512的博客 2504

【人工智能】大模型可以分为L0层:基础大模型/通用大模型、L1层:行业大模型、L2层:细分场景模型三个层级

大模型确实可以分为L0、L1、L2三个层级,这种分层架构不仅有助于提升模型的泛化能力和适应性,还能更好地满足不同行业和场景的需求。华为盘古大模型的分层架构(L0、L1、L2)在多个证据中得到了详细描述和验证。例如,华为云盘古大模型3.0明确分为L0基础大模型、L1行业大模型和L2场景模型三层架构。此外,其他来源也一致支持这一分层架构,如用友网络的企业服务大模型、智谱AI的GLM-4系列等。

奶爸的编程之路,也就一周冷个三天 3988

火山引擎ByteHouse发布白皮书 揭秘企业级ClickHouse优化与改进过程

日前,火山引擎ByteHouse 联合InfoQ 发布白皮书《从ClickHouse到ByteHouse》,解读字节跳动万台节点ClickHouse背后的技术实现。ClickHouse 开源于 2016 年,凭借性能方面的突出优势,在分析型数据库领域发展可谓风生水起。目前,国内外许多头部大厂都在深度使用 ClickHouse 技术。作为 ClickHouse 深度用户,字节跳动拥有国内规模最大的 ClickHouse 集群。目前,字节跳动数据节点总数超过1.8万个,管理总数据量超过 700PB,最大的单个集

weixin_43735236的博客 4

YOLO26 旋转框检测 OBB 技术:角度预测与解码优化

YOLO26旋转框检测技术通过CSL角度编码有效解决了OBB检测中的周期性问题。该技术采用5参数表示法(cx,cy,w,h,θ),在检测头中分别处理分类、回归和角度预测。核心创新点包括:1)使用高斯或三角窗口的CSL编码对角度进行平滑表示;2)通过加权平均解码角度,避免边界不连续问题。该方法在遥感、文本检测等需要精确方向信息的场景中表现优异,相比传统HBB框可提升定位精度30%以上,同时保持了YOLO系列的高效特性。

一键难忘的博客 528

霍尼韦尔SoftMaster使用说明

霍尼韦尔SoftMaster使用说明

【藏经阁一起读(71)】读《阿里云 ClickHouse 企业版技术白皮书》

ClickHouse是一种OLAP类型的列式数据库管理系统,是一个全球流行的开源高性能、可扩展列式数据库技术,核心应用于在线分析处理(OLAP)业务,ClickHouse完美的实现了OLAP和列式数据库的优势,因此在大数据量的分析处理应用中Clickhouse表现很优秀。ClickHouse是一个用于联机分析(OLAP)的列式数据库管理系统(DBMS)。

逆境清醒的博客 554

老版QQ原生表情gif动态

这是老版的QQ表情,不过全是动态的的,Windows照片查看器是不会动的,可以右击用浏览器打开查看,再说一遍是老版的,只是分享给宁愿用老版也要动态的人。

ByteHouse 技术白皮书正式发布,云数仓核心技术能力首次全面解读(内附下载链接)

更多技术交流、求职机会,欢迎关注近日,《火山引擎云原生数据仓库 ByteHouse 技术白皮书》正式发布。在数字化浪潮下,伴随着公有云的广泛普及,生于云、长于云、基于云原生架构的数据仓库百花齐放,快速迭代。相比起传统数仓,云原生数据仓库凭借更灵活、更具弹性化的特性,以及有效降低资源、人力成本的能力,在云市场上受到越来越多的关注,逐渐成为企业数字化基础设施中的关键“底座”。

m0_60025795的博客 527

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

大中型超市收银系统(可直接运行)

光步前台收银系统系统功能:商品销售、商品退货、挂单、收银员权限、会员销售、单品取消、整单取消、商品查询、脱机销售、脱机数据上传,基本资料下载,开钱箱、小票打印、收款结算,支持多币种付款方式(现金、储值卡、礼券、微信等),支持多种促销。运行环境:.net 4.0登陆信息用户名:1001 密码:123456内置商品信息,商品编码可输入00001000 - 00010000,测试效果相关功能键F5 结算 F9挂单 F11商品查询 F8退货 Insert单品取消 Del整单取消 F12开钱箱F2 会员 Ctrl+Z退出系统 Home 锁屏 相关源码待公开

火山引擎云原生数据仓库 ByteHouse 技术白皮书 V1.0 (Ⅲ)

更多技术交流、求职机会,欢迎关注近日,《火山引擎云原生数据仓库 ByteHouse 技术白皮书》正式发布。白皮书简述了 ByteHouse 基于 ClickHouse 引擎的发展历程,首次详细展现 ByteHouse 的整体架构设计及自研核心技术,为云原生数据仓库发展,及企业数字化转型实战运用提供最新的参考和启迪。以下为 ByteHouse 技术白皮书摘录。

m0_60025795的博客 183

火山引擎云原生数据仓库 ByteHouse 技术白皮书 V1.0(中)

更多技术交流、求职机会,欢迎关注近日,《火山引擎云原生数据仓库 ByteHouse 技术白皮书》正式发布。白皮书简述了 ByteHouse 基于 ClickHouse 引擎的发展历程,首次详细展现 ByteHouse 的整体架构设计及自研核心技术,为云原生数据仓库发展,及企业数字化转型实战运用提供最新的参考和启迪。

m0_60025795的博客 413

火山引擎云原生数据仓库 ByteHouse 技术白皮书 V1.0 (Ⅴ)

更多技术交流、求职机会,欢迎关注近日,《火山引擎云原生数据仓库 ByteHouse 技术白皮书》正式发布。白皮书简述了 ByteHouse 基于 ClickHouse 引擎的发展历程,首次详细展现 ByteHouse 的整体架构设计及自研核心技术,为云原生数据仓库发展,及企业数字化转型实战运用提供最新的参考和启迪。

m0_60025795的博客 345

火山引擎云原生数据仓库 ByteHouse 技术白皮书 V1.0 (Ⅵ)

更多技术交流、求职机会,欢迎关注近日,《火山引擎云原生数据仓库 ByteHouse 技术白皮书》正式发布。白皮书简述了 ByteHouse 基于 ClickHouse 引擎的发展历程,首次详细展现 ByteHouse 的整体架构设计及自研核心技术,为云原生数据仓库发展,及企业数字化转型实战运用提供最新的参考和启迪。

m0_60025795的博客 253

火山引擎云原生数据仓库 ByteHouse 技术白皮书 V1.0(上)

ByteHouse 是字节跳动自主研发的云原生数据仓库产品,在开源 ClickHouse 引擎之上做了技术架构重构,实现了云原生环境的部署和运维管理、存储计算分离、多租户管理等功能。在可扩展性、稳定性、可运维性、性能以及资源利用率方面都有巨大的提升。截至 2022 年 2 月,ByteHouse 在字节跳动内部部署规模超过 1 万 8000 台,单集群超过 2400 台。经过内部数百个应用场景和数万用户锤炼,并在多个外部企业客户中得到推广应用。

m0_60025795的博客 806

Coze Loop的系统架构、技术架构和部署架构解析

摘要: 字节跳动开源的Coze Loop平台采用五层异构架构(感知-执行-决策-监控-进化),实现AI智能体全生命周期管理。技术栈基于Go+React,支持多模型路由、智能评估矩阵和全链路追踪,具备微秒级响应和PB级日志处理能力。支持云原生轻量化部署,已落地金融、教育、工业场景,在10万并发下保持800ms响应。未来将聚焦推理成本优化和硬件加速,践行"观测驱动进化"理念。

技术引领业务创新 1431

ClickHouse在B站用户分析实战.PPT

来源:clickhouse春季meetup 作者:李呈祥推荐阅读:【重磅分享】从零到一搭建推荐系统指南白皮书.pdf(附48页下载链接)亿级(无限级)并发,没那么难世界的真实格局分析,地...

weixin_45727359的博客 348

Clickhouse在头条火山引擎智能数据洞察的应用

推荐阅读:【重磅分享】从零到一搭建推荐系统指南白皮书.pdf(附48页下载链接)亿级(无限级)并发,没那么难世界的真实格局分析,地球人类社会底层运行原理数据中台:基于标签体系的360°用户...

weixin_45727359的博客 689
上一篇: Spring中毒太深,离开Spring居然连最基本的接口都不会写了
下一篇: 我用 Dubbo 传输文件,差点被开除。。。
公众号-芋道源码
博客等级 码龄10年 1639粉丝 377原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值