Doris + Iceberg 冷热数据分层实战:如何用Flink实现自动归档(附完整配置)
最近和几个数据团队的朋友聊天,大家不约而同地提到了同一个痛点:数据量越来越大,查询性能却越来越慢,存储成本更是像坐了火箭一样往上窜。这让我想起了去年我们团队遇到的一个真实案例——一个用户行为分析平台,每天新增数据量超过10TB,最初把所有数据都放在Doris里,结果不到三个月,集群规模就翻了两倍,查询延迟也从毫秒级退化到了秒级。问题的核心就在于,我们试图用处理“热数据”的架构去承载所有的“冷数据”。
所谓热数据,就是那些最近产生、被频繁访问的数据,比如今天的实时订单、过去一小时的用户活跃度。而冷数据,则是历史数据,可能一周前、一个月前甚至更早,它们很少被查询,但出于合规、审计或趋势分析的需要,又必须长期保存。把冷热数据混在一起,就像把图书馆里最常借阅的新书和最古老的典籍堆在同一个书架上,不仅找书效率低,管理成本也高得吓人。
于是,我们开始探索冷热数据分层架构。经过几轮技术选型和POC测试,最终敲定了 Doris + Iceberg 的组合。Doris作为高性能的MPP分析型数据库,负责承载热数据,提供亚秒级的实时查询体验;而Iceberg作为开放的表格式,依托对象存储(如S3、OSS)来管理冷数据,实现极低的存储成本和强大的批量分析能力。这个架构听起来很美,但真正的挑战在于如何让数据在两者之间自动、平滑、可靠地流转。今天,我就来详细拆解我们是如何用Flink SQL为核心,构建这套自动化归档流水线的。
1. 架构设计与核心思想:为什么是Flink?
在决定用Flink实现自动归档之前,我们其实评估过好几种方案。比如,用Doris自带的BROKER LOAD配合定时脚本,或者用Spark Structured Streaming写一个批处理作业。但最终选择Flink,是基于以下几个关键考量:
- 流批一体的天然优势:我们的归档任务本质上是定时触发的批处理(比如每天凌晨处理前一天的数据)。但未来可能会有近实时归档的需求(比如将1小时前的数据快速降级)。Flink的流批一体API让我们能用同一套代码逻辑应对这两种场景,架构上更统一,维护成本更低。
- 精准的状态与时间管理:归档的核心逻辑是基于时间判断。Flink对事件时间(Event Time)和处理时间(Processing Time)的支持非常完善,可以轻松实现“将
dt分区小于当前日期的数据从Doris迁移到Iceberg”这样的逻辑,并且能很好地处理延迟数据。 - 完善的连接器生态:Flink官方社区对Doris和Iceberg的支持都越来越成熟。
flink-connector-doris和flink-connector-iceberg这两个连接器稳定可靠,大大降低了集成开发的复杂度。 - 与现有数据流无缝集成:很多公司的实时数据管道本身就是基于Flink构建的(从Kafka到Doris)。在同一个Flink集群或项目中增加一个归档作业,资源复用率高,技术栈统一,团队学习成本低。
我们的核心设计思想是 “声明式配置驱动” 。数据工程师只需要通过Flink SQL定义好源表(Doris)、目标表(Iceberg)和迁移逻辑(如WHERE dt < DATE_SUB(CURRENT_DATE, 1)),剩下的调度、执行、容错都交给Flink和调度系统(如DolphinScheduler, Airflow)去完成。整个流程对业务查询完全透明,应用层通过统一的视图(View)来访问数据,无需关心数据实际存储在Doris还是Iceberg。
提示:在设计之初,务必明确冷热数据的划分边界。例如,定义“热数据”为最近3天的数据,“温数据”为4-30天,“冷数据”为30天以上。这个边界直接决定了归档任务的
WHERE条件,也影响着Doris集群的容量规划。
2. 环境准备与表结构设计
工欲善其事,必先利其器。在编写Flink SQL作业之前,我们需要确保环境和基础表已经就绪。
2.1 环境与依赖配置
首先,你需要一个运行中的Flink集群(我们使用的是Flink 1.16版本)。关键的依赖JAR包需要放入Flink的lib目录下:
# 假设你的FLINK_HOME是 /opt/flink
cp flink-connector-doris-1.16.0.jar /opt/flink/lib/
cp flink-connector-iceberg-1.16.0.jar /opt/flink/lib/
# Iceberg 还需要对应版本的运行时jar,例如针对Hadoop Catalog
cp iceberg-flink-runtime-1.16-1.3.0.jar /opt/flink/lib/
对于Iceberg,你需要事先配置好Catalog。我们使用的是Hive Catalog,这样可以通过Hive Metastore来统一管理Iceberg表的元数据,方便Spark、Trino等其他引擎访问。
-- 在Flink SQL Client中或通过代码初始化Iceberg Catalog
CREATE CATALOG iceberg_catalog WITH (
'type'='iceberg',
'catalog-type'='hive',
'uri'='thrift://hive-metastore:9083',
'warehouse'='s3a://my-data-warehouse/iceberg/'
);
2.2 Doris热数据表设计
在Doris中创建表时,就要为未来的归档做好准备。分区键的选择至关重要,它通常是时间字段,并且要和归档逻辑严格对齐。
-- 在Doris中创建用户行为日志热表
CREATE TABLE `doris_db`.`user_behavior_hot` (
`dt` DATE NOT NULL COMMENT "数据日期,分区字段",
`user_id` BIGINT NOT NULL COMMENT "用户ID",
`event_time` DATETIME NOT NULL COMMENT "事件时间",
`event_type` VARCHAR(50) COMMENT "事件类型",
`page_id` BIGINT COMMENT "页面ID",
`device` VARCHAR(100) COMMENT "设备信息",
`province` VARCHAR(50) COMMENT "省份"
) ENGINE=OLAP
DUPLICATE KEY(`dt`, `user_id`, `event_time`) -- 根据查询模式选择聚合模型或明细模型
PARTITION BY RANGE(`dt`)() -- 先创建空分区,后续通过动态分区或程序添加
DISTRIBUTED BY HASH(`user_id`) BUCKETS 10
PROPERTIES (
"replication_num" = "3",
"storage_medium" = "SSD", -- 热数据使用SSD介质,追求性能
"dynamic_partition.enable" = "true", -- 启用动态分区,自动管理分区
"dynamic_partition.time_unit" = "DAY",
"dynamic_partition.start" = "-3", -- 保留最近3天分区
"dynamic_partition.end" = "3",
"dynamic_partition.prefix" = "p"
);
这里有几个设计要点:
- 分区字段:使用
dt(日期)作为分区字段,这是归档时筛选数据的主要依据。 - 动态分区:通过
dynamic_partition属性,Doris会自动创建未来和删除过期的分区。上例中start为-3,意味着会自动保留最近3天的分区(热数据),更早的分区会被自动删除(注意:这里删除的是Doris内部的分区,数据在归档到Iceberg后才会被安全删除)。 - 存储介质:热数据表属性设置为
SSD,确保查询性能。
2.3 Iceberg冷数据表设计
Iceberg表的设计要与Doris源表兼容,确保字段类型和语义一致。分区方式可以更灵活,例如按天、按月分区。
-- 在Flink SQL中使用前面创建的Catalog,创建Iceberg冷表
USE CATALOG iceberg_catalog;
CREATE TABLE `iceberg_db`.`user_behavior_cold` (
`dt` DATE NOT NULL,
`user_id` BIGINT NOT NULL,
`event_time` TIMESTAMP(6) NOT NULL,
`event_type` STRING,
`page_id` BIGINT,
`device` STRING,
`province` STRING
) PARTITIONED BY (`dt`) -- 同样按dt分区,便于管理
WITH (
'format-version' = '2',
'write.upsert.enabled' = 'false' -- 归档作业通常是追加写入
);
Iceberg V2格式表支持行级更新删除,但对于历史冷数据归档场景,我们通常只需要追加写入,因此可以禁用upsert以提升写入性能。
3. Flink SQL归档任务核心实现
这是整个自动归档流程的核心。我们将创建一个Flink SQL作业,它作为一个常驻的批处理应用,由调度系统每日触发一次。
3.1 定义Doris源表与Iceberg目标表
在Flink SQL中,我们首先需要创建两个虚拟的“表”,分别映射到Doris的热数据表和Iceberg的冷数据表。
-- 在Flink SQL作业中定义Doris源表
CREATE TABLE `doris_source_table` (
`dt` DATE,
`user_id` BIGINT,
`event_time` TIMESTAMP(6),
`event_type` STRING,
`page_id` BIGINT,
`device` STRING,
`province` STRING
) WITH (
'connector' = 'doris',
'fenodes' = 'doris-fe1:8030,doris-fe2:8030',
'table.identifier' = 'doris_db.user_behavior_hot',
'username' = 'flink_user',
'password' = 'your_password',
'sink.properties.strip_outer_array' = 'true' -- 读取时配置
);
-- 定义Iceberg目标表(如果已存在,则直接映射)
CREATE TABLE `iceberg_sink_table` (
`dt` DATE,
`user_id` BIGINT,
`event_time` TIMESTAMP(6),
`event_type` STRING,
`page_id` BIGINT,
`device` STRING,
`province` STRING
) WITH (
'connector' = 'iceberg',
'catalog-name' = 'iceberg_catalog',
'catalog-database' = 'iceberg_db',
'catalog-table' = 'user_behavior_cold',
'write.upsert.enabled' = 'false',
'write.format.default' = 'parquet'
);
3.2 编写归档逻辑与调度策略
归档的核心SQL逻辑非常简单:从源表读取,过滤出需要归档的数据(冷数据),插入到目标表。
-- 核心归档SQL:将前一天(dt = 昨天)的数据从Doris迁移到Iceberg
INSERT INTO `iceberg_sink_table`
SELECT * FROM `doris_source_table`
WHERE `dt` = DATE_SUB(CURRENT_DATE, INTERVAL 1 DAY);
但是,一个健壮的生产级任务需要考虑更多:
- 幂等性与数据一致性:如何防止数据被重复归档?我们的策略是,每次归档任务只处理一个固定的、已完成的分区(如
dt='2024-01-01')。一旦这个分区的数据成功写入Iceberg,我们就在外部元数据库(如MySQL)中记录一条状态。下次调度时,先检查状态,避免重复执行。Flink的精确一次(Exactly-Once)语义结合Iceberg的ACID特性,可以保证数据在迁移过程中不丢不重。 - 增量与全量结合:上述SQL是典型的增量归档。但如果遇到历史数据补录或架构迁移,可能需要一次性归档大量历史数据。这时可以写一个循环脚本,或者修改
WHERE条件为dt < '某个日期'。务必注意,全量迁移会对Doris造成巨大查询压力,建议在业务低峰期进行,并控制批次大小。 - 错误处理与监控:任务失败后如何重试?我们通常将整个Flink SQL作业提交到YARN或K8s上运行,由调度器(如Airflow)捕获作业执行状态。如果失败,调度器可以根据策略(如重试3次)重新触发。同时,需要在作业中埋点,记录成功归档的数据条数、数据大小等信息,方便监控。
下面是一个更完整、带有简单监控指标的Flink SQL示例(假设使用SET语句定义时间变量):
-- 在调度脚本中,可以通过`-D`参数传入归档日期,例如 `-Dyesterday=2024-01-01`
-- SET execution.date = '${yesterday}';
INSERT INTO `iceberg_sink_table`
SELECT
*,
-- 可以添加一些审计字段
CURRENT_TIMESTAMP AS `archive_time`,
'${hostname}' AS `archive_job`
FROM `doris_source_table`
WHERE `dt` = TO_DATE('${execution.date}');
4. 生产部署、优化与运维指南
将开发好的Flink SQL作业部署到生产环境,并确保其高效稳定运行,是最后也是最关键的一步。
4.1 任务调度与执行
我们推荐使用成熟的调度系统来管理Flink归档作业。以下是一个简化的Airflow DAG定义思路:
# 伪代码,展示Airflow DAG结构
from airflow import DAG
from airflow.providers.apache.flink.operators.flink_kubernetes import FlinkKubernetesOperator
from datetime import datetime, timedelta
default_args = {
'owner': 'data_platform',
'depends_on_past': False,
'retries': 3,
'retry_delay': timedelta(minutes=5),
}
with DAG('doris_to_iceberg_archive',
default_args=default_args,
schedule_interval='0 2 * * *', # 每天凌晨2点执行
start_date=datetime(2024, 1, 1),
catchup=False) as dag:
archive_task = FlinkKubernetesOperator(
task_id='run_flink_archive_job',
application_file='/path/to/your/flink-sql-job.yaml', # 包含SQL的Flink应用YAML
kubernetes_conn_id='flink_k8s_conn',
dag=dag,
)
Flink应用YAML文件(flink-sql-job.yaml)中,需要打包好所有依赖,并指定主类和SQL文件路径。
4.2 性能调优与成本控制
归档作业的性能和成本直接影响整个数据平台的体验。
| 优化维度 | Doris侧优化建议 | Iceberg侧优化建议 | Flink作业优化建议 |
|---|---|---|---|
| 读取性能 | 对dt分区字段建立索引或Rollup;增加fe节点连接数。 | 不适用(作为Sink)。 | 调整Flink并行度,匹配Doris表的分桶数;适当调大connector.doris.batch.size。 |
| 写入性能 | 不适用(作为Source)。 | 启用写入并行度;调整write.target-file-size-bytes(如512MB)控制文件大小。 | 使用batch模式;开启Checkpoint但间隔不宜过短;合理设置Iceberg Sink的并行度。 |
| 稳定性 | 监控Doris FE/BE负载,避免归档作业拖垮线上查询。 | 定期执行expire_snapshots和rewrite_data_files来清理快照、合并小文件。 | 设置合理的作业重启策略和故障容忍度;做好背压监控。 |
| 成本控制 | 归档完成后,可手动或通过脚本删除Doris中已归档的分区,释放SSD空间。 | 将Iceberg数据存储在S3标准-低频访问层或归档层;使用ZSTD等高压缩比编码。 | 选择Spot实例运行Flink TaskManager以降低计算成本。 |
一个关键的运维操作:在确认数据成功归档到Iceberg并验证无误后,清理Doris中的历史分区。
-- 在Doris中,安全删除已归档的分区(例如删除 dt='2024-01-01' 的分区)
ALTER TABLE `doris_db`.`user_behavior_hot` DROP PARTITION `p20240101`;
注意:执行删除分区操作前,务必确保该分区的数据已在Iceberg中完整备份,并且业务方已切换查询链路。建议先重命名分区或设置为不可用,观察一段时间后再物理删除。
4.3 监控与告警体系
没有监控的线上任务就像在黑夜中航行。你需要建立全方位的监控:
- 作业状态监控:通过调度系统(Airflow)或Flink Web UI监控作业是否成功、运行时长是否异常。
- 数据质量监控:
- 数量核对:对比Doris源表特定分区的
COUNT(*)与写入Iceberg后的COUNT(*),确保数据条数一致。 - 抽样核对:随机抽取若干条数据,对比两边关键字段的值是否一致。
- 延迟监控:监控从数据产生到完成归档的总延迟,确保SLA。
- 数量核对:对比Doris源表特定分区的
- 资源与性能监控:监控Flink作业的CPU、内存使用率,Doris集群的查询QPS和延迟,以及Iceberg底层存储(如S3)的请求次数和流量,及时发现瓶颈。
5. 统一查询与数据治理
数据完成冷热分层后,对上层应用和数据分析师来说,最好能有一个统一的入口进行查询,无需感知底层存储的复杂性。
5.1 构建统一查询视图
在Presto/Trino中,可以轻松创建视图,将Doris的热数据和Iceberg的冷数据逻辑上合并成一张表。
-- 在Presto/Trino中创建全局视图
CREATE VIEW hive.analytics.user_behavior_all AS
SELECT * FROM doris.doris_db.user_behavior_hot -- 查询热数据
UNION ALL
SELECT * FROM iceberg.iceberg_db.user_behavior_cold; -- 查询冷数据
对于更复杂的场景,比如需要根据查询条件自动选择数据源,可以考虑使用视图+函数,或者借助像StarRocks(与Doris同源)的联邦查询功能,直接外部表的方式接入Iceberg。
5.2 数据生命周期管理延伸
Doris + Iceberg + Flink的自动化归档,是数据生命周期管理(DLM)的核心一环。在此基础上,还可以进一步延伸:
- 更细粒度的分层:除了热(Doris)、冷(Iceberg on S3标准层),可以定义“冰数据”(Iceberg on S3归档层),对超过一年的数据使用成本更低的存储格式和存储层级。
- 自动化策略引擎:将归档策略(如“数据产生7天后从Doris迁移到Iceberg”)配置化,通过策略引擎自动生成和执行Flink SQL作业,实现完全无人值守的数据流转。
- 数据治理集成:将数据分层信息、存储位置、访问热度等元数据录入到数据治理平台(如Apache Atlas),形成完整的数据资产地图。
我们在实际运行这套架构大半年后,最深的体会是“自动化解放了生产力”。数据工程师从每日手动执行备份、清理脚本的繁琐工作中解脱出来,可以将更多精力投入到数据模型优化和业务价值挖掘上。同时,存储成本下降了近60%,而高频查询的性能因为Doris负载的降低反而有所提升。当然,过程中也踩过坑,比如初期没有做好归档前后的数据一致性校验,导致少量数据异常;还有一次因为Flink作业并行度设置过高,把Doris FE打挂了。这些问题都通过完善的监控和灰度发布机制逐步解决了。
技术架构没有银弹,Doris+Iceberg+Flink的组合非常适合那些对实时查询和长期数据存储成本都有较高要求的场景。如果你的数据也正在经历“成长的烦恼”,不妨从一个小型业务开始,尝试搭建这样一套自动化的冷热数据分层管道。
136



被折叠的 条评论
为什么被折叠?



