jwandbj的博客

如果一个pod运行一段时间之后，不断的重启，并且报错java.io.IOException: Size of the state is larger than the maximum permitted memory-backed state. Size=9985820, maxSize=5242880. Consider using a different checkpoint storage, like the FileSystemCheckpointStorage.

Flink有多种运行模式，可以运行在一台机器上，称为本地（单机）模式；也可以使用YARN作为底层资源调度系统以分布式的方式在集群中运行，称为Flink On YARN模式；还可以使用Flink自带的资源调度系统，不依赖其他系统，称为Flink Standalone模式。还有将Flink部署到Kubernetes的模式，称为Flink On Kubernetes模式。standalone模式有有一个缺点就是只有4个槽，一次只能跑两个Flink任务，一个Flink任务占2个槽；

现在开始都是基于Kubernetes的Flink，其实Flink On Kubernetes里面还有2中模式，4中作业提交方式。

前面讲了Flink On Kubernetes如何进行技术的选型，这边的话目前选用的是Flink On Kubernetes Application模式，这种模式最好的是资源隔离，就是说如果这个任务出现CPU和内存的突然彪高不会占用其他任务的资源，不会影响其他任务。Flink Operator主页： https://nightlies.apache.org/flink/flink-kubernetes-operator-docs-release-1.3/API，使其具有管理和操作的能力 Flink 部署。

如果没有设置checkpoint的存储地址，flink默认会把checkpoint的存储地址放到内存里面，这个时候就会出现一个问题，任务一开始是可以正常运行的，等运行到一定时候就会报错，从日志上看不出任务的问题。所以checkpoint也需要设置存储的地点，这里通过pvc挂载的方式来设置存储点，一、jar包要挂载可以使用华为云的obs或者阿里云的oss，或者disk磁盘来挂载都可以；设置的这些pvc名称一定要和flinkcdc-mysql-doris.yaml文件里面的名称是一致的。