网易云信 x Doris：降本70%、提速11倍，统一 ES/InfluxDB/Hive 多技术栈的落地实践

最新推荐文章于 2025-11-25 14:14:22 发布

原创

最新推荐文章于 2025-11-25 14:14:22 发布 · 1.1k 阅读

CC 4.0 BY-SA版权

文章标签：

导读：网易云信引入 Apache Doris 统一了原有 Elasticsearch、InfluxDB 和 Hive 多技术栈系统。凭借其高性能和易扩展的特点，提供一站式的数据存储和分析服务。实现机器成本降低 70%、实时场景查询提速 11 倍、离线任务耗时缩短 80% 的显著收益。

网易云信是网易旗下 ToB 的通信与视频云服务品牌，依托网易 20 多年的技术沉淀，为企业和开发者提供稳定、安全、高效的通信与视频云服务，包含 IM 即时通讯、视频云、短信、轻舟微服务、中间件 PaaS 等。截止当前，网易云信产品已覆盖用户 10 亿+，覆盖 196 个国家，覆盖地区 567 个。

云信数据平台承载了多条业务线的数据，数据存储于 Elasticsearch、InfluxDB 和 Hive 这三类主要数据库中，最终为各类业务场景提供数据支撑与服务。但随着业务发展，数据量急剧增加，这种多系统并存的方式带来了高昂的成本和复杂的维护难题。

为解决这些问题，网易云信引入 Apache Doris 统一了原有多技术栈系统。凭借其高性能和易扩展的特点，提供一站式的数据存储和分析服务。实现机器成本降低 70%、实时场景查询提速 11 倍、离线任务耗时缩短 80% 的显著收益。

网易云信早期架构和挑战.jpeg

如上图云信数据平台早期架构，IM、RTC、短信、直播、点播等业务数据通过主动上报、日志采集，数据同步等方式上报至数据平台中。数据平台通过流式数据清洗或批处理对数据进行结构化或半结构化计算，并将结果存储到对应的存储计算引擎中，最终服务于多种使用场景。

离线场景下，主要采用 Hadoop 生态的 HDFS、Hive 以及 Impala 进行数据存储与分析；实时日志检索场景中，主要使用 Elasticsearch；而监控类数据则主要存储于 InfluxDB。该架构存在三大痛点：

存储冗余： 原有架构为了满足不同场景的数据查询分析需求，数据存储在 InfluxDB、Elasticsearch 和 Hive 多个组件中，同一数据冗余存储，造成存储资源严重浪费。
查询效率低： Elasticsearch 的非标准查询语法学习门槛高，且在处理大规模数据时响应慢。InfluxDB 在高基数数据或大量数据序列处理时消耗资源，查询体验不佳。
资源抢占严重： Hive 的资源队列紧张，运行效率低，常出现排队现象。InfluxDB 在高并发查询时，写入和查询资源无法隔离，导致写入延迟甚至错误。

基于上述痛点问题，网易云信开始寻找新的解决方案，并期望使用单一数据库服务多种数据服务，满足高效易用、低成本的升级及使用要求。

经过探索，Apache Doris 符合我们的选型要求。其具备以下优势：

统一存储：Doris 具备替代 InfluxDB、Elasticsearch、Hive 等多种数据库的能力，仅需存储一份数据，实现数仓查询出口的统一，可实现数倍存储成本的降低。
实时 OLAP 能力：Doris 是一款基于 MPP 架构的高性能、实时的分析型数据库，强调即时数据分析，具备优秀的并发查询能力，能支持高并发点查询和高吞吐复杂分析场景。
冷热分层优势：借助 Doris 冷热分层功能，既能满足近期热点数据的查询性能，又能将历史数据冷备在便宜的存储介质中，实现查询性能和存储成本的平衡。