腾讯云大数据TCIceberg亮相Iceberg全球技术峰会-优快云博客

点击蓝字⬆ 关注我们

本文共计873字预计阅读时长3分钟

2025年4月，Iceberg Summit 2025全球峰会于旧金山圆满闭幕，峰会云集了全球顶尖科技厂商、社区明星用户及大数据领域专家超过500人线下参与。Iceberg创始人Ryan Blue以Iceberg V3最新发展动态拉开大会序幕，包括Variant、Geo数据类型，基于Deletion vector实现的数据更新 / 删除能力，以及用于追踪数据变化的Row Lineage等亮点特性及最新进展。腾讯、AWS、Google、Apple、Microsoft、Databricks、Snowflake等全球科技巨头参与，腾讯云大数据分享了基于Iceberg的批流一体开放智能湖仓方案TCIceberg，进一步印证了Iceberg已成为开源湖仓格式标准的事实。

腾讯云批流一体创新方案亮相

腾讯作为Apache Iceberg社区国内领军贡献者，截止2025年共计提交PR 110+，其中包括delete file重写、清理、向量化读取等重点特性。腾讯云从2019年开始就使用Iceberg帮助云上客户构建云原生的湖仓一体大数据基础设施，帮助用户完成统一湖仓存储，降低数据延迟，提升数据开发效率等业务目标。在本次峰会中，腾讯云大数据首次向全球展示了基于Iceberg的批流一体开放智能湖仓方案TCIceberg，引发全球开发者热烈关注。

开放共赢：TCIceberg的技术创新与实践

腾讯云TCIceberg致力于打造全场景湖仓一体智能解决方案，在Iceberg现有表格式之上拓展实时湖仓场景，并提供智能数据优化服务。整体方案具备以下特点：

无侵入拓展：有主键表中BaseStore与ChangeStore采用标准Iceberg表结构构建，并提供Merge-On-Read和Auto Compaction能力。
近实时湖仓构建：相比Apache Iceberg中流式写入的更新数据没办法在下游进行流式消费，TCIceberg在支持流式写入的同时，支持按照CDC（Change Data Capture）格式读取流式增量数据，并提供可扩展的合并过程满足部分列更新、预聚合等场景。
性能增强：TCIceberg通过自动分桶机制提升了更新场景下的merge-on-read性能。
智能的数据优化：TCIceberg支持对表上的写入及查询操作实时监控，根据监控信息自动按需触发优化任务，调度优化资源，调整优化任务优先级进行合理的智能调度，提升优化质量及效率。

目前TCIceberg已上线腾讯云数据湖产品，并得到泛互、金融、教育等多行业广泛应用。

会后，来自AWS、EBay等企业工程师与腾讯云大数据团队围绕TCIceberg批流一体技术展开深度交流，对其创新的部分列更新（Partial Update）与聚合函数（Aggregation Function）等特性表达关注并探讨共建。未来腾讯云大数据团队也将持续与社区携手推动基于Iceberg批流一体技术的生态演进。

相关分享内容已被Apache Iceberg社区官方视频媒体收录，如需回顾请点击阅读原文

腾讯云大数据始终致力于为各行业客户提供轻快、易用，智能的大数据平台。

END

关注腾讯云大数据╳探索数据的无限可能