湖仓分析｜浙江霖梓基于 Doris + Paimon 打造实时/离线一体化湖仓架构

导读：浙江霖梓早期使用 CDH 产品套件搭建了大数据系统，面临业务逻辑冗余、查询效率低下等问题，基于 Apache Doris 进行整体架构与表结构的重构，并基于湖仓一体和查询加速展开深度探索与实践，打造了 Doris + Paimon 的实时/离线一体化湖仓架构，实现查询提速 30 倍、资源成本节省 67% 等显著成效。

浙江霖梓是一家专注于深度学习和人工智能应用的金融创新企业，自 2018 年成立以来，专注于深度学习和⼈⼯智能的应⽤ ，通过构建数据迭代能⼒形成结构化的数据决策产品，为企业提供精准经营决策。同时，提供基于大数据的风控能力的一系列高效便捷的金融服务产品。

然而，随着业务的持续扩展，大数据业务系统的局限逐渐暴露：报表系统计算缓慢、运维成本持续攀升、组件间的高度耦合导致架构稳定性较差等，严重影响了大数据系统产出效率，因此浙江霖梓引入 Doris+Paimon 重新构建了实时/离线一体化湖仓架构，为反欺诈策略、用户⾏为分析、BI 应用等若干系统提供了高效准确的服务，实现了查询提速 30 倍、资源成本节省 67% 等显著成效。

早期架构及痛点

下图是早期的 CDH 架构示意图，MySQL 数据通过 Sqoop 全量导入至 Hive，埋点数据通过 Java 程序清洗后进入 Flume 的 source 端，并最终 sink 到 Hive 的分区表中，离线数仓任务的 ETL 由 Hive 执行，批处理作业则通过 Spark SQL 运行，所有任务都从 ODS 层出发直接进入到 APP 层。数据开发与分析工作则依赖 CDH 自带的 Hue 平台，任务调度依赖 easyScheduler，最终与自主研发的报表平台对接，实现数据的可视化。

随着业务扩展，早期架构的局限逐渐暴露：数据采集、变更及分析效率低下的同时，整体运维成本也在持续攀升，并且各组件间的高度耦合降低了架构的整体稳定性。此外，由于各部门未统一指标⼝径，不同取数逻辑的分析结果存在较大差异，使得业务痛点的精准定位变得异常困难，传统的 Hive+BI 系统已无法满足需求。

为了解决上述痛点，浙江霖梓考察了市⾯上较为常⻅的大数据分析组件，如 HBase、ClickHouse、Apache Doris 等，最终从查询性能、写入性能、投⼊成本等⽅⾯评估，最终选择了综合实⼒⾮常突出的 Apache Doris。以下为前期技术选型调研结果：

相较于其他产品，Apache Doris 的核心优势如下：

• 查询快：⽀持物化视图和向量化执⾏引擎，并⽀持多种表模型以及 Rollup 、BloomFilter、倒排索引等，离线跑批速度非常快，并对查询性能有显著加速效果。
• 存储省：通过表的优化和冷热数据分层特性，能够充分利用机械盘和固态盘，显著提升资源利用率。此外，采用高效的 ZSTD 压缩算法，压缩比高达 10 倍，大幅降低了存储费用。
• 运维简单：不依赖外部系统， 原架构一旦某个服务发生异常，与其关联的服务都会受到影响，给运维增加了难度。⽽ Apache Doris 的原生运维工具 Doris Manager 可以满⾜⽇常绝⼤多数的运维需求，再加上 Doris 架构简单且不存