forme2k8的博客

数据流容错 此文档描述Flink的数据流容错机制。 介绍 Flink提供失败容错机制能始终恢复数据流的状态。这机制可以确保即使出现失败,应用的状态也可以实现完全一次的数据流记录处理。 注意，还有一个开关可以将保护降级到至少一次。（介绍在下面） 容错机制不断的为分布式数据流生成快照。对于状态规模小的流处理程序，快照是非常轻量的，可以频繁生成并不会影响程序处理性能。 数据流程序的状态被保存在一个可配置...

概述 检查点机制通过恢复状态及数据流位置来实现系统容错,以此提供了不受限的失败处理。 启动检查点并配置请参考检查点使用文档 保留的检查点 默认检查点只用来恢复失败的任务，不会保留。在程序被取消时，检查点会被删除。 但是可以通过配置周期性检查点来保留。配置后，在任务失败或取消时，被保留的检查点不会自动删除。 这样就有了一个用来恢复失败任务的检查点。 CheckpointConfig config =...

什么是保存点?保存点和检查点的区别在哪 保存点是数据流的执行状态（一致的？）,是通过检查点机制创建的。利用保存点可以停止和恢复，fork，或者更新任务。保存点由两部分组成:一个可靠存储上的文件路径（例如 hdfs，s3.。。），里面保存了二进制文件（通常比较大），还有一个元数据文件（相对小一些）。 可靠存储中的文件保存了job运行状态镜像的网络数据。保存点的元数据文件包括了（主要）可靠存储中全部文...

状态后端 数据流API的程序中通常以如下几种形式保存状态: 窗口算子收集数据元素或聚合直到他们被发射出去 转换函数会使用key/value状态接口存储数据 转换函数会实现CheckpointedFunction接口，来保证局部变量的故障恢复 当检查点机制被激活，这种状态在检查点上保持，以防止数据丢失和一致地恢复。 状态是如何在内部表示，并且它如何在检查点上保持依赖于选择的状态后端。 可用的状态后端...