Flink + Hologres构建实时数仓

原创已于 2025-08-11 15:59:22 修改 · 269 阅读

CC 4.0 BY-SA版权

文章标签：

于 2025-08-11 15:55:05 首次发布

33 篇文章

订阅专栏

该方案有如下优势：

高效更新与即时查询：Hologres支持每一层数据的高效更新、修正和写入即可查，解决了传统实时数仓中间层数据难以查询、更新和修正的问题。
数据分层复用：Hologres的所有层级数据都可单独对外提供服务，实现高效复用，真正达成数仓分层复用的目标。
架构简化与效率提升：基于Flink SQL构建实时ETL链路，ODS层、DWD层和DWS层的数据统一存储在Hologres，从而降低架构复杂度并提升数据处理效率。

该方案依赖于Hologres的3个核心能力，详情如下表所示。

Hologres核心能力	详情
Binlog	Hologres提供Binlog能力，用于驱动Flink进行实时计算，以此作为流式计算的上游。
行列共存	Hologres支持行列共存的存储格式。一张表同时存储行存数据和列存数据，并且两份数据强一致。该特性保证中间层表既能作为Flink的源表，也能作为Flink的维表进行主键点查与维表Join，还能供其他应用（OLAP、线上服务等）查询。
资源强隔离	Hologres实例的负载较高时，可能影响中间层的点查性能。Hologres支持通过主从实例读写分离部署（共享存储）或计算组实例架构实现资源强隔离，从而保证Flink对Hologres Binlog的数据拉取不影响线上服务。