- checkpoint是怎么实现的,用到了哪些配置项
- 暂停处理新流入数据,将新数据缓存起来
- 将算子子任务的本地状态数据拷贝到一个远程的持久化存储上
- 继续处理新流入的数据,包括刚才缓存起来的数据
-
state存在什么地方
MemoryStateBackend:放在内存里
FsStateBackend:放在文件系统里,数据持久化到文件系统上,文件系统包括本地磁盘、HDFS以及包括Amazon、阿里云在内的云存储服务
RocksDBStateBackend:放在rocksDB,磁盘里 -
checkpoint和savepoint的区别,savepoint是手动触发的
-
state有哪种类型,用了哪些state
-
flink有哪些backends,就是state 后端有哪几种:
MemoryStateBackend:放在内存里
FsStateBackend:放在文件系统里
RocksDBStateBackend:放在rocksDB,磁盘里,RocksDB是一种嵌入式Key-Value数据库,数据实际保存在本地磁盘上。比起FsStateBackend的本地状态存储在内存中,RocksDB利用了磁盘空间,所以可存储的本地状态更大。然而,每次从RocksDB中读写数据都需要进行序列化和反序列化,因此读写本地状态的成本更高。快照执行时,Flink将存储于本地RocksDB的状态同步到远程的存储上,因此使用这种State Backend时,也要配置分布式存储的地址。Asynchronous Snapshot在默认情况也