860MHz的专栏

1. 简介Apache Flink由两类运行时JVM进程管理分布式集群的计算资源。JobManager进程负责分布式任务管理，如任务调度、检查点、故障恢复等。在高可用性（HA）分布式部署时，系统存在多个JobManager，一个leader和多个standby。JobManager是Flink主从架构中的master。TaskManager进程负责执行任务线程（即子任务subtask）、缓...

1. 简介分布式有状态的流处理支持在云端部署和执行大规模连续地计算，同时可以应对低延迟和高吞吐量场景。这一模式最大的挑战之一是在系统可能失败的情况下提供数据可靠性保证。现有方法依赖于可用于故障恢复的周期性全局状态快照。此类方法有两个主要缺点：首先，它们通常会阻塞计算；其次，它们通常会保存传输中的所有记录和操作状态，这导致更多的快照数据。而异步屏障快照（ABS）是一种适用于现代流处理引擎的...

1. 简介自从2003-2006年，Google发表了三篇著名的大数据相关论文（Google FS，MapReduce，Big Table）后，内存问题一直困扰大数据工程师们。这一问题从MR1.0一直延续到Spark时代，从Spark晚期版本试图由应用程序自行管理内存后，人们才初步解决了内存问题。使用原生的JVM内存管理会带来如下的致命问题：JVM对象存储密度低，在32位系统或开启指针压...

1. 简介在Flink部署架构中，JobManager负责协调Flink任务调度和资源管理。默认情况下，每个Flink集群都有一个JobManager实例，这会产生单点故障（SPOF single point of failure），如果JobManager进程崩溃，则无法提交新任务且运行中的任务也会失败。启用JobManager HA后，就可以JobManager崩溃故障中恢复，消除单点故...