flink面试总结

  1. checkpoint是怎么实现的,用到了哪些配置项
  • 暂停处理新流入数据,将新数据缓存起来
  • 将算子子任务的本地状态数据拷贝到一个远程的持久化存储上
  • 继续处理新流入的数据,包括刚才缓存起来的数据
  1. state存在什么地方
    MemoryStateBackend:放在内存里
    FsStateBackend:放在文件系统里,数据持久化到文件系统上,文件系统包括本地磁盘、HDFS以及包括Amazon、阿里云在内的云存储服务
    RocksDBStateBackend:放在rocksDB,磁盘里

  2. checkpoint和savepoint的区别,savepoint是手动触发的

  3. state有哪种类型,用了哪些state

  4. flink有哪些backends,就是state 后端有哪几种:
    MemoryStateBackend:放在内存里
    FsStateBackend:放在文件系统里
    RocksDBStateBackend:放在rocksDB,磁盘里,RocksDB是一种嵌入式Key-Value数据库,数据实际保存在本地磁盘上。比起FsStateBackend的本地状态存储在内存中,RocksDB利用了磁盘空间,所以可存储的本地状态更大。然而,每次从RocksDB中读写数据都需要进行序列化和反序列化,因此读写本地状态的成本更高。快照执行时,Flink将存储于本地RocksDB的状态同步到远程的存储上,因此使用这种State Backend时,也要配置分布式存储的地址。Asynchronous Snapshot在默认情况也

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值