guoqing2017的博客

FLink Job遇到的问题：基于flink的官方镜像启动的job，并采用本地文件的方式做checkPoint，发生了权限问题。官方镜像启动是使用的flink用户，因此权限不足，所以不能创建文件夹和文件。解决方案：采用hdfs方式进行checkpoint采用内存的方式进行checkpoint，并调整jobManager的checkpoint的内存大小在进行checkpoint时，由于需要checkpoint的数据过大，导致了akka.framesize大小不足。调整akka.frames

Flink主节点启动ClusterEntryPoint：集群启动入口Flink主从架构：主节点JobManager + 从节点 ： TaskManagerJobManager是Flink集群的主节点，主要包括三大组件：1. ResourceManager Flink的集群资源管理器，只有一个，负责Slot的管理和申请等工作，也负责心跳服务 2. Dispatcher 负责接收用户提交的JobGraph，然后启动一个JobMaster，JobMaster类似于Yarn集群中的AppMaster

Flink源码学习一Flink RPC​ Flink RPC底层基于Scala的网络编程库Akka实现。Akka具有如下特点：1. 它是对并发模型进行了更高的抽象2. 它是异步、非阻塞、高性能的事件驱动编程模型3. 它是轻量级事件处理（1GB内存可容纳百万级别个Actor)Akka的通信模型如下图：关于AKka的理解可以从ActorSystem和Actor的角度理解，以下几个方面有助于我们理解Akka。1、ActorSystem是管理Actor生命周期的组件，Actor是负责通信的组件

深入浅出Flink（二）CheckPointCheckPoint概述​ checkpoint机制是Flink可靠性的基石，可以保证Flink集群在某个算子因为某些原因（如异常退出）出现故障时，能够将整个应用流图的状态恢复到故障之前的某一状态，保证应用流图状态的一致性。Chandy-Lamport算法任务开启JobManager发起Checkpointsource上报Checkpoint数据处理barrier对齐缓存数据处理sink上报checkp