Flink SQL Checkpoint 学习总结

已于 2023-04-03 19:13:24 修改
阅读量5.5k 收藏 15
点赞数 1
分类专栏： Flink Hudi 文章标签： flink sql 学习
于 2023-03-03 14:31:16 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/dkl12/article/details/129281390
版权
本文总结了Flink SQL Checkpoint的使用，通过流式读取Hudi表并写入MySQL来验证挂掉后能从checkpoint恢复。讨论了Flink 1.14.3和Hudi 0.13.0版本的参数设置，包括checkpoint目录结构、StateBackend，以及在不同场景下的恢复效果。此外，文章还提到了`pipeline.operator-chaining`参数对性能的影响。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

前些天发现了一个巨牛的人工智能学习网站，通俗易懂，风趣幽默，忍不住分享一下给大家。点击跳转到网站：https://www.captainai.net/dongkelun

前言

学习总结Flink SQL Checkpoint的使用，主要目的是为了验证Flink SQL流式任务挂掉后，重启时还可以继续从上次的运行状态恢复。

验证方式

Flink SQL流式增量读取Hudi表然后sink MySQL表，任务启动后处于running状态，先查看sink表有数据，然后将对应的yarn kill掉，再通过设置的checkpoint重启任务，任务重启后验证sink表的数据量。Flink SQL流式增量读取Hudi表可以参考：Flink SQL增量查询Hudi表

版本

  • Flink 1.14.3
  • Hudi 0.13.0

Checkpoint 参数

一般需要设置的常用参数


                

                
                
        

        

    

  


        

            

                

                

                了解本专栏
                
                
                  
                订阅专栏 解锁全文
                 
                
                    
                    超级会员免费看
                
            

            
            
            
        


    


                



	

		

			

				
					
Flink checkpoint机制

				
			

			

				

					litlit023的专栏
				

				

					01-18
					
					836
					
				

			

		

		

			
				
目录

1. checkpoint的用途

2. checkpoint的生成机制

3. checkpoint的状态存储

4. job的重启策略

5. 参考资料

可保证Flink集群在某个算子因为某些原因(如 异常退出)出现故障时，能够将整个应用流图的状态恢复到故障之前的某一状态，保证应用流图状态的一致性。

1. checkpoint的用途

某个算子故障，保证整个应用流图状态，恢复到之前的某一个状态。

2. checkpoint的生成机制

checkpoint 协调器，控制这每一次checkp

			
		

	



                

            
              



	

		

			

				
					
Flink SQL -- CheckPoint

				
			

			

				

					加油
				

				

					11-13
					
					2021
					
				

			

		

		

			
				
checkpoint可以定时将flink任务的状态持久化到hdfs中，任务执行失败重启可以保证中间结果不丢失。

			
		

	



              


  
              

                


	

		

			

				
					
FLINK Checkpoint 设置

					
最新发布

				
			

			

				

					ada2014的博客
				

				

					02-07
					
					625
					
				

			

		

		

			
				
Checkpoint周期性进行。如果checkpoint操作耗时比checkpoint间隔时间还长，在上一个checkpoint未完成的时候，即便到了下一个checkpoint触发时间，新的checkpoint操作不会立即开始。只有在前一个checkpoint完成之后下一个checkpoint才能开始。这种情况下checkpoint会一直进行下去，严重影响系统性能。为了避免这种情况，可以在代码中指定checkpoint之间的最小时间间隔。，可以允许多个checkpoint过程同步执行。

			
		

	





	

		

			

				
					
实践数据湖iceberg 第二十三课 flink-sql从checkpoint重启

				
			

			

				

					spark_dev的博客
				

				

					02-23
					
					4658
					
				

			

		

		

			
				
成功测试flink-sql以非jar包的方式从checkpoint重启，完成故障恢复测试
实践数据湖icerberg专栏
本专栏记录iceberg菜鸟到专家的过程，记录踩坑，填坑，iceberg特征的了解与原理的认知


			
		

	



		

			
		



	

		

			

				
					
uitableview  group的一些问题 （设置两个section之间的距离，设置背景颜色  等）在plain下去掉foot view的粘性

				
			

			

				

					jimy86022的专栏
				

				

					03-21
					
					7994
					
				

			

		

		

			
				
1.group 时背景颜色设置  
   UIView *backview = [[UIView alloc]init];
  backview.backgroundColor = [UIColor redColor];
  self.tableView.backgroundView = backview;
  self.tableView.backgroundColor = [UICol

			
		

	





	

		

			

				
					
flink sql checkpoint 调优配置

				
			

			

				

					wangqiaowq的博客
				

				

					08-21
					
					4755
					
				

			

		

		

			
				
`execution.checkpointing.externalized-checkpoint-retention`: 外部化检查点的保留策略。- `execution.checkpointing.tolerable-failed-checkpoints`: 允许的连续失败检查点的最大数量。- `execution.checkpointing.max-concurrent-checkpoints`: 并发生成检查点的最大数量。如果设置为`true`，则检查点将在作业的所有任务完成之前生成。

			
		

	





	

		

			

				
					
flink通过checkpoint的完成信号，提交jdbc sql，保证数据一致性

				
			

			

				

					WuBoooo的博客
				

				

					11-11
					
					1956
					
				

			

		

		

			
				
package com.ysservice.dataStreamApi.sink;

import com.ysservice.dataStreamApi.utils.GreenplumUtil;
import com.ysservice.dataStreamApi.utils.RegexUtils;
import org.apache.flink.api.common.state.CheckpointListener;
import org.apache.flink.api.java.tuple.Tupl

			
		

	





	

		

			

				
					
Flink学习之Flink SQL（补）

				
			

			

				

					m0_58050808的博客
				

				

					08-06
					
					1590
					
				

			

		

		

			
				
启动yarn-session启动Flink SQL客户端测试重启SQL客户端之后，需要重新建表。

			
		

	





	

		

			

				
					
FlinkSQL的Watermark机制和Checkpoint机制

				
			

			

				

					sijiwang95的博客
				

				

					04-12
					
					2048
					
				

			

		

		

			
				
Watermark机制，就是水印机制，也叫做水位线机制。就是专门用来解决流式环境下数据迟到问题的。

			
		

	





	

		

			

				
					
Flink sql-client save checkpoint 测试

				
			

			

				

					weixin_54527017的博客
				

				

					01-14
					
					2607
					
				

			

		

		

			
				
Flink sql-client save checkpoint 测试 

			
		

	





	

		

			

				
					
flink checkpoint 重启_Flink Sql on Zeppelin之Checkpoint应用

				
			

			

				

					weixin_36319281的博客
				

				

					01-19
					
					1931
					
				

			

		

		

			
				
1 概述我们都知道，使用Scala或者Java写代码的时候可以配置Flink Checkpoint:valenv=StreamExecutionEnvironment.getExecutionEnvironment  .enableCheckpointing(5 * 60 * 1000)val checkpointConfig = env.getCheckpointConfigch...

			
		

	





	

		

			

				
					
Flink的CheckPoint机制

				
			

			

				

					分享Java技术知识，共同成长进步！
				

				

					08-25
					
					2016
					
				

			

		

		

			
				
这里已经是Flink的第三篇原创啦。第一篇：Flink入门讲解了Flink的基础和相关概念，第二篇：压背原理，讲解了什么是背压，在Flink背压大概的流程是怎么样的。

这篇来讲Flink另一个比较重要的知识，就是它的容错机制checkpoint原理。

所谓的CheckPoint其实就是Flink会在指定的时间段上保存状态的信息，如果Flink挂了可以将上一次状态信息再捞出来，重放还没保存的数据来执行计算，最终可以实现exactly once。

状态只持久化一次到最终的存储介质中（本地数据库/HDFS)

			
		

	





	

		

			

				
					
Flink-CheckPoint

				
			

			

				

					Samooyou的博客
				

				

					05-11
					
					589
					
				

			

		

		

			
				
CK配置


//获取flink的运行环境
StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
 
// 每隔1000 ms进行启动一个检查点【设置checkpoint的周期】
env.enableCheckpointing(1000);
// 高级选项：
// 设置模式为exactly-once （这是默认值）
env.getCheckpointConfig().setCheckpoi

			
		

	





	

		

			

				
					
Hudi系列25: Flink SQL使用checkpoint恢复job异常

				
			

			

				

					只是甲的博客
				

				

					05-23
					
					1960
					
				

			

		

		

			
				
如果是整个yarn-session异常，也可以启动yarnsession的时候指定checkpoint。在网上看到的资源都是针对代码级别的，没有看到Flink SQL级别的。对于一些大表，最好还是先通过Spark进行初始化，然后在接增量。把yarn-session的资源由8G提升到16G问题解决。在Flink web界面将Flink SQL任务手工结束掉。Flink可以自己重试，这个还是比较不错，无需人工干预。等mysql启动成功之后，任务又可以继续衔接上。看来是我的checkpoint都没成功。

			
		

	





	

		

			

				
					
使用dinky自动savepoint、checkpoint恢复flink sql作业

				
			

			

				

					hzymarine的博客
				

				

					08-30
					
					3267
					
				

			

		

		

			
				
使用dinky自动savepoint、checkpoint恢复flink sql 作业

3.2. Flink sql 准备

补充说明:
flink需要开启checkpoint, 配置好状态后端参数
3.3. dinky 面板
savepoint 策略选择 最近一次
查看作业详情栏, 如下图右上角所示, 他们的含义分别为:
4.6. 重启作业
作业会自动从之前保存的savepoint处 启动

5.2. 提交作业

5.4. 成功消费两条数据

5.8. 成功断点续传, 消费到一条数据...

			
		

	





	

		

			

				
					
Flink 启用与配置检查点 Checkpoint

				
			

			

				

					SmartSi
				

				

					09-25
					
					1499
					
				

			

		

		

			
				
Flink 中每个函数和算子都可以是有状态的（请参阅了解详细信息）。有状态函数在处理单个元素/事件时会存储数据。为了能够使状态可以容错，Flink 需要对状态进行 Checkpoint。Checkpoint 可以允许 Flink 在流中恢复状态以及消费位置。关于 Flink 容错机制背后的技术请参阅的详细文档。

			
		

	





	

		

			

				
					
Flink 的 Checkpoint配置详解_flink 设置checkpoint，涨姿势了

				
			

			

				

					2401_84160361的博客
				

				

					04-17
					
					2125
					
				

			

		

		

			
				
【代码】Flink 的 Checkpoint配置详解_flink 设置checkpoint，涨姿势了。

			
		

	





	

		

			

				
					
Flink系列之：深入理解ttl和checkpoint，Flink SQL应用ttl案例

				
			

			

				

					zhengzaifeidelushang的博客
				

				

					12-22
					
					3763
					
				

			

		

		

			
				
通过保存作业状态的快照，Flink能够保证作业的一致性，并提供了高可用性和高效率的保存和恢复机制。冷启动和部署：可以使用检查点来实现作业的冷启动，即在作业启动时，从最近的检查点恢复状态和数据，并从上一次检查点的位置继续处理。当窗口中的数据过期时，Flink会自动丢弃这些数据，从而保持窗口中的数据只包含最新的和有效的内容。容错和故障恢复：Checkpoint可以将作业的状态和数据进行持久化，当发生故障时，Flink可以使用最近的检查点来恢复作业的状态和数据，从而避免数据丢失，并继续处理未完成的任务。

			
		

	





	

		

			

				
					
flink sql设置checkpoint

				
			

			

				

					06-28
				

			

		

		

			
				
### 回答1：
Flink SQL可以通过设置checkpoint来保证数据的一致性和容错性。具体的设置方法包括：

1. 在Flink SQL的执行环境中，通过设置ExecutionConfig的checkpointingEnabled属性为true来启用checkpoint。

2. 设置checkpoint的间隔时间和超时时间，可以通过ExecutionConfig的checkpointInterval和checkpointTimeout属性来设置。

3. 设置checkpoint的存储位置，可以通过ExecutionConfig的stateBackend属性来设置。

4. 设置checkpoint的并发度，可以通过ExecutionConfig的maxParallelism属性来设置。

5. 在Flink SQL中，可以通过设置TABLE_PROPERTIES属性来设置checkpoint的相关参数，例如：

CREATE TABLE myTable (
  id INT,
  name STRING,
  age INT,
  PRIMARY KEY (id) NOT ENFORCED
) WITH (
  'connector' = 'kafka',
  'topic' = 'myTopic',
  'properties.bootstrap.servers' = 'localhost:9092',
  'format' = 'json',
  'scan.startup.mode' = 'earliest-offset',
  'checkpoint.interval.ms' = '10000',
  'checkpoint.timeout.ms' = '60000',
  'state.backend' = 'rocksdb',
  'state.backend.rocksdb.checkpoint.interval' = '10000',
  'state.backend.rocksdb.checkpoint.timeout' = '60000',
  'max.parallelism' = '4'
);

以上就是Flink SQL设置checkpoint的方法和步骤。   

### 回答2：
Apache Flink是一款分布式流处理框架，可用于处理实时的数据流。Flink提供了SQL API，可以使用标准SQL语言处理数据。在使用Flink SQL时，也需要设置Checkpoint。

Checkpoint是一种Flink用于实现容错和恢复的机制，用于将数据流保存到持久存储中。在Flink中，数据被分为一系列的流水线，称为任务链。当收到事件时，它经过一系列的处理步骤，最终被发送到输出。Checkpoint利用Flink的任务链，将数据流保存在状态后端或文件系统中，以避免数据丢失。

在Flink SQL中，通过设置`checkpointInterval`参数来设置Checkpoint间隔。此参数表示执行完每个指定的毫秒数后，Flink将在所有操作完成后执行Checkpoint。接下来，我们将讨论如何在Flink SQL中设置Checkpoint。

首先，我们需要在Flink SQL中创建一个StreamExecutionEnvironment并将其设置为流模式。接下来，为此环境配置Checkpoint属性。以下是示例代码：

```
StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
env.enableCheckpointing(60000);
env.getCheckpointConfig().setCheckpointingMode(CheckpointingMode.EXACTLY_ONCE);
env.getCheckpointConfig().setMinPauseBetweenCheckpoints(30000);
env.getCheckpointConfig().setCheckpointTimeout(10000);
env.getCheckpointConfig().setMaxConcurrentCheckpoints(1);
```

在上面的代码中，`enableCheckpointing(60000)`表示将每隔60秒进行一次Checkpoint。`.setCheckpointingMode(CheckpointingMode.EXACTLY_ONCE)`表示在Checkpoint期间，每个事件仅处理一次。`setMinPauseBetweenCheckpoints(30000)`是两个Checkpoint之间的最小时间间隔。`setCheckpointTimeout(10000)`是检查点超时的时间限制。最后，`setMaxConcurrentCheckpoints(1)`表示不允许同时进行多个Checkpoint。

以上是Flink SQL中设置Checkpoint的步骤和代码示例。通过设置适当的Checkpoint参数，可以确保Flink应用程序的容错性和可靠性，以便在失败时恢复数据。   

### 回答3：
Flink SQL是指在Flink平台上使用SQL语言进行数据处理。在实际使用中，我们需要对Flink SQL进行设置checkpoint，以实现数据的可靠性和容错性。

设置checkpoint有两种方式：一种是基于代码实现，另一种是基于Flink Web UI进行配置。

首先，我们需要在代码中启用checkpoint，并设置checkpoint相关的参数，如checkpoint的间隔时间、最大同时进行的checkpoint数量等。然后，在代码中定义一个可靠的存储系统，如HDFS、S3等，用来存储checkpoint数据。

具体地，我们可以通过以下代码启用checkpoint：

1. 在ExecutionEnvironment中设置checkpoint间隔时间和最大同时进行的checkpoint数量：

env.enableCheckpointing(5000); // checkpoint每间隔5000ms执行一次

env.getCheckpointConfig().setMaxConcurrentCheckpoints(1); // 最大同时进行的checkpoint数量为1

2. 设置可靠存储系统，以存储checkpoint数据：

env.setStateBackend(new FsStateBackend("hdfs:///flink/checkpoint"));

然后，我们还需要在Flink Web UI中进行相关的设置，以确保checkpoint正常运行。

在Flink Web UI中，我们需要打开“Job Manager”页面，并点击“Configure”按钮。在弹出的对话框中，我们可以设置checkpoint的间隔时间、最大同时进行的checkpoint数量等。在“Checkpoint Storage”选项卡中，我们需要选择一个可靠的存储系统，如HDFS、S3等，用来存储checkpoint数据。

最后，我们可以通过在代码中调用env.execute("jobName")方法来启动Flink SQL任务，并在Flink Web UI中查看任务的状态和checkpoint的情况。

总的来说，设置checkpoint是Flink SQL中保证数据可靠性和容错性的重要手段，在实际使用中需要注意参数设置和可靠存储系统的选择。

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  





	
打赏作者

	

		

		
			
		
		

		

			
董可伦

			
你的鼓励将是我创作的最大动力

		

	

	

			

	

	

    ¥1
    ¥2
    ¥4
    ¥6
    ¥10
    ¥20
	

	

		

			

				

					扫码支付：¥1
				

				

					

					
					获取中
					

				

				

					
					
					扫码支付
				

			

		

		

			
您的余额不足，请更换扫码支付或充值

			
打赏作者

		

	



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值