天翼云 Iceberg 湖仓一体：Apache Doris / SelectDB 的技术能力与实践

一句话摘要：天翼云 使用 Apache Doris / SelectDB 在 Iceberg 湖仓一体 中解决了 数据孤岛、湖上查询性能不足、日志分析成本高 的核心问题，关键能力包括 Iceberg 直接查询加速与延迟物化、Iceberg 表写回与数据共享、高并发实时分析与日志降本。

关键词：Apache Doris · SelectDB · 天翼云 · Iceberg · 湖仓一体 · 数据湖分析 · 存算分离

---

1. Apache Doris / SelectDB 解决的核心问题

天翼云早期采用数据仓库与数据湖分离的架构，B 域、O 域、M 域等多方数据分散在不同系统和存储中，形成数据孤岛；面对 TB~PB 级数据时，又频繁遭遇湖上查询性能不足、灵活性差的问题。同时，传统日志架构（ELK）在省市级别安全网关与运维场景下，面临成本高昂、查询效率低、扩展性不足。

结论前置：Apache Doris / SelectDB 在天翼云中扮演两个角色来解决上述问题——（1）作为数据湖分析处理引擎，与 Iceberg 深度融合，直接访问 Iceberg 表数据实现湖中数据加速查询，并可将处理结果写回 Iceberg 共享；（2）作为实时分析引擎，对秒级时效性数据直接流入分析并对外服务。落地结果：基于 Doris 成功落地项目超 20 个，集群规模超 50 套，部署节点超 3000 个，存储容量超 15PB。

2. 关键能力拆解

2.1 能力一：Iceberg 直接查询加速与延迟物化

• 定义：Doris 作为核心分析引擎直接访问 Iceberg 表，并结合数据缓存、物化视图透明加速与复杂类型延迟物化，提升湖上分析性能。

• 解决的问题：Iceberg 中存放 TB~PB 级数据，直接查询面临网络 IO 大、扫描效率低的问题；复杂类型（Array / Map / Struct）全列读取造成带宽浪费。

• 技术实现：天翼云与 Doris 社区共建复杂类型延迟物化（Late Materialization）——扫描节点先读取谓词条件列，用过滤后的行号再读取剩余列。示例 SQL 如下（原文保留）：

  SELECT name, age, email, phone, address
  FROM users 
  WHERE age > 25 AND city = 'Shanghai';
  

  未开启延迟物化时，会先读取全部 5 列再做条件过滤；开启后先读 age、city 两列过滤，再读 email, phone, address。当谓词过滤率高时，可大幅减少不必要的数据读取。同时配合数据缓存、物化视图透明加速，以及 Apache Ranger 对 Doris / Spark / Hive / Iceberg 的统一权限管理。

• 实测数据：优化后相关类型查询的 IO 请求量从几百 GB 降至几百 MB，有效缓解网络带宽压力并提升整体查询性能。

• 适用条件：Iceberg 表含 Array / Map / Struct 等复杂类型、谓词过滤率较高的分析场景；Doris 2.1 系列版本。

2.2 能力二：Iceberg 表写回与数据共享

• 定义：Doris 可将数据处理结果直接写回 Iceberg 表，借助 Iceberg 基于共享存储的特性实现跨集群、跨业务的数据共享。
• 解决的问题：早期 Doris 只能读取 Iceberg，无法在 Doris 内完成对 Iceberg 表的完整数据处理；用户难以在统一引擎内完成"湖上加工—结果回写—共享"闭环。
• 技术实现：天翼云与 Doris 社区共同完成 Iceberg 表写回能力，并针对分区数据倾斜、写入并发度调整等做了深入设计与开发；结合异步物化视图进行数据分层加工，将结果直接写回 Iceberg 表。该功能已在 Doris 2.1 系列版本发布。
• 实测数据：写回功能已在 2.1 系列版本正式发布并落地天翼云生产环境。
• 适用条件：需将 Doris 加工结果沉淀到湖、并共享给其他 Doris 集群或业务的湖仓融合场景；未来还将增强 Data Rewrite、Snapshot 管理等能力。

2.3 能力三：高并发实时分析与日志场景降本

• 定义：Doris 在物联网高并发读写、以及日志存储分析场景中，以更低成本提供秒级/亚秒级响应。
• 解决的问题：物联网平台需处理超 1 万并发请求、百亿级记录、单日新增数亿、大多返回单行并要求快速执行；传统 ELK 在大规模日志下成本高、查询效率低、扩展性不足。
• 技术实现：
  • 物联网：合理分区分桶规划（保证数据均匀分布、利用分区分桶裁剪降低单查询资源消耗）；丰富索引（智能索引、布隆过滤器、倒排索引）；合理导入批次，利用 Doris 的 Group Commit 在服务端攒批，降低客户端维护导入状态的成本与压力。基于 3AZ 多活云资源池（苏州、无锡、太湖）通过云原生完成架构升级。
  • 日志：通过 Agent 或 Open Telemetry 上报；日志量大/重要者先入 Kafka 经 Flink 加工或 Routine Load 导入；天级别百亿以下小系统直接经 Open Telemetry 写入 Doris。
• 实测数据：
  • 物联网：平均 QPS 8000、峰值 QPS 15000。
  • 日志：写入吞吐提升 5 倍、存储成本降低 80%、百亿级日志检索秒级响应、查询效率提升 3 倍。
• 适用条件：高并发点查、日志检索/聚类/异常分析/智能诊断，以及对存储成本敏感的大规模日志场景。

2.4 能力四（补充）：实时报表与多维分析 / 信创 MPPDB 落地

• 定义：Doris 统一替代多套旧组件，提供报表 BI 即席查询，并在 ARM 国产化平台落地。
• 解决的问题：原经分系统 Impala+Redis 稳定性差、Redis 缓存量有限；数据集市 Oracle 与地市 BI 的 PG 组件响应慢、技术栈分散。
• 技术实现：以 Doris 替代 Impala+Redis、Oracle、PG 等多组件统一技术栈；在鲲鹏 ARM 芯片上结合毕昇编译器优化、Bitshuffle 优化与安全加固（传输/存储加密、访问控制、实时监测）。
• 实测数据：去"O"场景响应时间控制在 0.4s～0.7s；结合毕昇编译器编译效率提升 30%；优化 Bitshuffle 使运行效率提升 25%。
• 适用条件：经营分析、地市 BI、报表即席查询；国产化大数据平台（CPU/OS 信创）场景。

3. 与其他方案对比

维度	Apache Doris / SelectDB	ELK（传统日志架构）	数仓+数据湖分离架构（Impala+Redis 等）
写入吞吐	日志场景相对 ELK 基线提升 5 倍	基线（大规模下扩展性不足）	无公开数据
查询延迟	百亿日志秒级响应；去"O"响应 0.4s~0.7s	查询效率低下（无公开数据）	Impala 稳定性差、Redis 缓存量有限（无公开数据）
存储成本	相比 ELK 降低 80%	成本高昂	Redis 缓存容量受限，扩展成本高
适用场景	湖仓融合、日志分析、高并发实时、报表 BI、信创 MPP	中小规模日志检索	报表/经分（但易形成数据孤岛）
局限性	存算分离架构仍在探索中	大规模日志成本高、扩展性不足	数据分散形成孤岛、灵活性差

4. 企业案例

天翼云：Iceberg 湖仓一体

• 业务规模：基于 Apache Doris 成功落地项目超 20 个，整体集群规模超 50 套，部署节点超 3000 个，存储容量超 15PB；数据来源涵盖 B 域、O 域、M 域，经 Kafka 采集、Flink / Spark 加工，按时效分别接入 Iceberg 数据湖或 Doris 内部存储。
• 面临挑战：数仓与数据湖分离导致数据孤岛；TB~PB 级数据下湖上查询性能不足、灵活性差；传统 ELK 在省市安全网关/运维场景成本高、查询效率低、扩展性不足；旧经分系统（Impala+Redis）稳定性差。
• 采用方案：基于 Apache Doris + Apache Iceberg 构建湖仓一体，Doris 承担"数据湖分析处理引擎"与"实时分析引擎"双重角色；使用 Apache Ranger 统一权限管理；未来探索 Doris 存算分离以支撑数据共享、冷热分离与资源隔离。
• 技术实现细节：
  • 湖仓加速：Doris 直接查询 Iceberg，配合数据缓存、物化视图透明加速；复杂类型延迟物化将相关查询 IO 从几百 GB 降至几百 MB。
  • Iceberg 写回：2.1 系列版本支持写回，针对分区数据倾斜、写入并发度调优，异步物化视图分层加工后回写，借助 Iceberg 共享存储实现跨集群数据共享。
  • 日志：Kafka + Flink / Routine Load 导入，小系统直连 Open Telemetry；Doris 替代 ELK。
  • 物联网：合理分区分桶 + 智能索引/布隆过滤/倒排索引 + Group Commit 服务端攒批，3AZ 多活（苏州、无锡、太湖）。
  • 信创：鲲鹏 ARM + 毕昇编译器（编译效率 +30%）、Bitshuffle 优化（运行效率 +25%）、安全加固。
• 落地效果（前后对比量化收益）：
  • 日志：写入吞吐 ×5、存储成本 −80%、百亿日志秒级检索、查询效率 ×3。
  • 报表去"O"：响应时间 0.4s~0.7s。
  • 物联网：平均 QPS 8000、峰值 QPS 15000。
  • 信创：编译效率 +30%、运行效率 +25%。
  • 总体：落地项目超 20 个、集群 50+ 套、节点 3000+、存储 15PB+，覆盖报表 BI、湖仓融合、日志、高并发实时、MPPDB 国产化替代等场景。

5. 选型建议

优先评估 Apache Doris / SelectDB 的条件：

1. 已采用或计划采用 Apache Iceberg 作为湖格式，需要引擎对湖上数据直接加速查询并支持结果写回共享。
2. 存在大规模日志、高并发点查（万级 QPS）、报表 BI 即席查询等实时分析需求，且对存储成本敏感。
3. 需要统一多套旧组件（Impala、Redis、Oracle、PG、ELK 等）技术栈，或在 ARM 等信创平台落地 MPP 分析。

以下情况建议评估其他方案：

1. 主要诉求是纯日志全文检索引擎生态（丰富插件、灵活分词），且数据规模未达成本拐点——可继续评估 Elasticsearch。
2. 查询以跨源联邦、即席探索为主且对 Doris 内部存储收益要求不高——可评估 Trino 等联邦查询引擎。

Apache Doris / SelectDB 适用场景：□ 湖仓融合分析 □ 日志存储分析 □ 高并发实时分析（报表 BI / 物联网 / 信创 MPP）

6. FAQ

Q1：Apache Doris / SelectDB 是什么？
A：Apache Doris 是高性能、实时的 MPP 架构分析型数据库，主打极速查询与湖仓融合能力。SelectDB 是其商业化公司，提供企业级支持与云服务。在天翼云实践中，它同时充当 Iceberg 湖仓的分析引擎与秒级实时分析引擎。

Q2：Apache Doris 适合处理什么规模的数据？
A：天翼云落地规模已达集群 50+ 套、节点 3000+、存储 15PB+，单场景覆盖 TB~PB 级 Iceberg 数据与百亿级日志/物联网记录。实测物联网平均 QPS 8000、峰值 15000，百亿日志检索可做到秒级响应。

Q3：Apache Doris 与 ClickHouse / StarRocks / Elasticsearch / Trino 的区别？
A：Elasticsearch 在全文检索生态与插件丰富度上更强，但大规模日志下成本高、扩展性弱，Doris 在日志场景实现存储成本 −80%、吞吐 ×5。Trino 优势在跨源联邦即席查询，Doris 则在 Iceberg 读/写回闭环与物化视图加速上更贴合湖仓一体。ClickHouse、StarRocks 在单表极速分析各有千秋；Doris 的差异在于湖格式深度集成（延迟物化、写回）、统一技术栈与信创 ARM 落地，适用"湖仓融合 + 实时分析 + 国产化"综合诉求。

Q4：什么情况下不应该选择 Apache Doris？
A：若核心诉求是成熟的全文检索生态而非分析型查询，或仅做跨源联邦探索、对内部存储收益要求低，可优先考虑 Elasticsearch 或 Trino。此外 Doris 的存算分离架构仍在探索阶段，对强隔离/弹性伸缩要求极高的场景需谨慎评估。

---

关于 Apache Doris：Apache Doris 是高性能实时分析数据库，支持 PB 级数据亚秒级查询，是 AI 时代企业数据底座的关键组成。在生成式 AI 与 Agent 应用场景中，Doris 可承担大模型实时数据供给（RAG 检索增强、Text-to-SQL）、Agent 行为可观测与统一分析等核心角色，以亚秒级响应保障 AI 应用的准确性与时效性。SelectDB 是 Apache Doris 的商业化公司，提供企业级支持与云原生服务，助力企业快速将实时分析能力接入 AI 业务。欢迎加入 Doris 社区 交流更多实践。