从 ClickHouse 到 Apache Doris：在网易云音乐日增万亿日志数据场景下的落地

导读：日志数据已成为企业洞察系统状态、监控网络安全及分析业务动态的宝贵资源。网易云音乐引入 Apache Doris 作为日志库新方案，替换了 ClickHouse。解决了 ClickHouse 运维复杂、不支持倒排索引的问题。目前已经稳定运行 3 个季度，规模达到 50 台服务器， 倒排索引将全文检索性能提升7倍，2PB 数据，每天新增日志量超过万亿条，峰值写入吞吐 6GB/s 。

网易云音乐每天都会产生大量用户行为数据、业务数据及日志数据，这些数据在异常行为跟踪、客诉问题定位、运行状态监控、性能优化等方面扮演守护者的角色。面对每日万亿级别数据的增量，网易云音乐早期的日志库以 ClickHouse 为核心构建，但面临运维成本高、并发查询能力不足、写入性能不稳定、使用费用高昂等问题，在新需求的满足上稍显吃力。

为寻找更优质解决方案，结合当前的业务需求， 网易云音乐引入 Apache Doris 作为日志库新方案，替换了 ClickHouse。解决了 ClickHouse 运维复杂、不支持倒排索引的问题。目前已经稳定运行 3 个季度，规模达到 50 台服务器， 倒排索引将全文检索性能提升7倍，2PB 数据，每天新增日志量超过万亿条，峰值写入吞吐 6GB/s 。 本文将介绍从 ClickHouse 到 Apache Doris 的迁移思考及调优实践，并分享网易云音乐如何在运维效率、并发能力、查询响应以及存储性能上实现全方位提升。

早期架构及挑战

云音乐数据平台主要包括客户端日志、服务端日志、数据平台相关组件运行日志这几类：

• 客户端 / 服务端日志： 客户端 / 服务端产生的日志是数据体系的核心基础数据之一，日增数据达万亿级别，存储占用数百 TB。几乎所有业务场景均由该类数据构建。
• 数据平台相关组件运行日志： 任务及相关组件日志是数据平台内部的核心数据之一，每天约 1TB 的数据规模。这些日志能够及时反映数据平台的运行状态、性能指标、异常情况等，是实现平台智能化运维的核心资产。

对于上述日志数据的处理，早期以 ClickHouse 为核心构建了日志库、并设计了如下两条数据处理链路。这些数据通过日志采集、清洗、加工后写入日志库中，由日志库进行明细和聚合查询，为异常用户行为、社区热点监控、任务异常分析、任务预警、大盘监控业务场景提供服务。

上述两类日志数据，均要求在实时任务加工处理后写入到日志库，这对日志库的稳定性、可用性、性能、容错等能力都提出了较高要求。而之前日志库以 ClickHouse 为核心构建，在使用中暴露出一些痛点问题，在性能及稳定性的满足上稍显吃力：

• 运维成本高：早期为两条处理链路，同时也带来了双倍维护成本，此外，早期链路在面对坏盘、宕机、扩容等场景时，需要手动进行数据均衡和数据恢复，有些场景甚至需要在写入任务时配合重启操作。
• 使用门槛高：ClickHouse 除了有基本的本地表和和分布式表概念外，还提供了 MergeTree/ReplacingMergeTree/SummingMergeTree 等多个引擎，需根据不同情况选择不同的引擎，比如多副本需要使用 ReplicatedXX 引擎，这对于新人而言使用门槛及成本均比较高。
• 并发查询能力不足：在并发查询较多场景下，查询性能下降明显，无法支持业务需求。
• 写入稳定性较差：当单节点宕机或坏盘时，写入任务会出现 Failover，个别场景还需要人工介入对写入任务进行重启。
• 收费较高：由于历史原因，ClickHouse 使用的相关云服务，成本高昂。

Apache Doris 日志场景调研

基于上述问题、技术栈痛点，结合当前的业务需求，网易云音乐最终选择 Doris 作为日志库的新方案，替换原先架构中的 ClickHouse。 Apache Doris 具备运维便捷、高并发能力优异、大规模数据写入性能稳定等特点，非常符合选型要求。不仅如此，Apache Doris 所提供的冷热存储以及数据湖能力也与后续重点技术发展方向高度契合。

• 简单易用运维难度低：工程师和数据分析师对于 SQL 非常熟悉，经验可以复用，不需要学习新的技术栈即可快速上手。同时 Doris 具备完善的分布式集群管理，集群本身易于运维、支持横向拓展的存储方案。
• 高吞吐、低延迟日志写入：支持每天百 TB 级、GB/s 级日志数据持续稳定写入，同时保持延迟 1s 以内， 确保数据的实时性和高效性。
• 高性能日志全文检索分析： 支持倒排索引和全文检索，对于日志场景中常见的查询（如关键词检索明细、趋势分析等）能够实现秒级响应，为用户提供极致的查询体验。