金融场景 PB 级大规模日志平台：中信银行信用卡中心从 Elasticsearch 到 Apache Doris 的先进实践

导读：中信银行信用卡中心每日新增日志数据 140 亿条（80TB），全量归档日志量超 40PB，早期基于 Elasticsearch 构建的日志云平台，面临存储成本高、实时写入性能差、文本检索慢以及日志分析能力不足等问题。因此使用 Apache Doris 替换 Elasticsearch，实现资源投入降低 50%、查询速度提升 2～4 倍，同时显著提高了运维效率。

本文转录自陈地长（中信信用卡中心信息技术部 高级工程师）在 Doris Summit Asia 2024 上的演讲，经编辑整理。

中信银行信用卡中心（以下简称“卡中心”）隶属于中信银行，致力于为广大消费者提供涵盖支付结算、消费信贷、中收增值和特色权益的“金融+生活”全方位服务。卡中心构建了高端、商旅、年轻、商超、车主及零售六大主流产品体系，形成了产品、渠道、经营、合规风控和服务五大经营体系，综合实力在股份制银行中名列前茅。

为确保业务系统的稳定运行、提升运维效率和用户体验，卡中心建立了大规模的日志云分析平台。该平台不仅需支持实时监控和故障排查，还需满足金融监管对日志审计的严格要求。目前，平台每日新增日志数据突破 140 亿条、80TB，全量归档日志量超 40PB。

早期基于 Elasticsearch 构建的日志云平台面临存储成本高、实时写入性能差、文本检索慢以及日志分析能力不足等问题。因此，卡中心决定引入 Apache Doris 替换 Elasticsearch，实现资源投入降低 50%、查询速度提升 2～4 倍，同时显著提高了运维效率。

日志数据分析运维需求背景

在当前日益复杂的业务需求下，催生出了各种复杂的应用系统，这些应用系统分布在 Linux、Windows 等多种操作系统之上，同时依赖于各种网络设备、安全设备、中间件和数据库等服务，这些软硬件运行时每天可产生的日志量能达到 TB 级别。一旦系统运行出现异常，就需要通过分析日志进行问题排查。

日志的存在原本是通过其所记录多样化的数据、关键信息来帮助我们更好了解系统的运行状态。然而，面对卡中心每日新增 TB 级别日志数据，当系统异常时，日志格式的多样性同样也给数据分析带来极大的困难，主要挑战如下：

• 格式难以统一：日志数据以自由文本形式呈现，尽管相较于结构化数据信息更丰富，但