实践数据湖iceberg 第二十三课 flink-sql从checkpoint重启

原创

已于 2022-02-23 15:47:16 修改 · 4.7k 阅读

13 ·

CC 4.0 BY-SA版权

文章标签：

#flink #iceberg #数据湖

于 2022-02-23 15:46:18 首次发布

本文详细介绍了如何使用 Flink SQL 从 checkpoint 恢复任务，避免数据重复。通过创建 savepoint，制造并插入变更数据，然后从不同 savepoint 恢复，验证了恢复过程的有效性。测试结果显示，任务能够正确从 checkpoint 恢复，实时 CDC 能捕获新增数据，确保数据一致性。

系列文章目录

概要

问题描述：前面测试过，直接重启insert任务，下次消费，会全量数据同步一份，并进行增量的监听。多次重启的话，会有很多重复数据。本课目的：解决这个问题，下次重启从checkpoint中恢复（测试sql的方式， jar包的方式以前测试过，不想测了）。本课最后效果：成功测试flink-sql以非jar包的方式从checkpoint重启，完成故障恢复测试

1. savepoint保存

从web ui 中找到jobId, 保存
savepoint保存命令： flink savepoint {jobId} {path}

[root@hadoop101 conf]# flink savepoint 365df9287888864066b89d9f5247f654 hdfs:///tmp/savepoint
Triggering savepoint for job 365df9287888864066b89d9f5247f654.
Waiting for response...
Savepoint completed. Path: hdfs://ns/tmp/savepoint/savepoint-365df9-e6719613365a
You can resume your program from this savepoint with the run command.
[root@hadoop101 conf]# hadoop fs -ls /tmp/savepoint
Found 1 items
drwxr-xr-x   - root supergroup          0 2022-02-23 10:25 /tmp/savepoint/savepoint-365df9-e6719613365a
[root@hadoop101 conf]# hadoop fs -ls /tmp/savepoint/*
Found 1 items
-rw-r--r--   2 root supergroup       6368 2022-02-23 10:25 /tmp/savepoint/savepoint-365df9-e6719613365a/_metadata
[root@hadoop101 conf]# hadoop fs -ls /tmp/savepoint/*/*
-rw-r--r--   2 root supergroup       6368 2022-02-23 10:25 /tmp/savepoint/savepoint-365df9-e6719613365a/_metadata
[root@hadoop101 conf]# hadoop fs -du -h /tmp/savepoint/*/*
6.2 K  /tmp/savepoint/savepoint-365df9-e6719613365a/_metadata
[root@hadoop101 conf]#

2. 制造变更数据

第一次savepoint的数据：

                                                                                                                              SQL Query Result (Table)                                                                                                                              
 Refresh: 1 s                                                                                                                     Page: Last of 1                                                                                                             Updated: 10:33:35.233 

                              i                        ts_code                         symbol                           name                           area                       industry                      list_date             actural_controller
                              1                      000002.SZ                         000002                            万科A                             深圳                           全国地产                       19910129                        星星之火!!!
                              2                      000004.SZ                         000004                           国华网安                             深圳                           软件服务                       19910114                            三体人
                              0