《基于 Apache Flink 的流处理》阅读笔记（三）

《基于 Apache Flink 的流处理》阅读笔记（二）

Apache Flink架构

• 运行时架构：四个JVM进程运行在不同的物理节点上

  • JobManager：

    • 主进程控制单个应用程序执行，每个应用程序都有一个JobManager进行控制
    • 包括：JobGraph（Dataflow图，执行时转化为物理Dataflow图）+ 类库资源的 JAR 包
    • 根据物理 Dataflow 图（ExecutionGraph）向 ResourceManager 申请资源（就是槽 slots），然后分发运行
    • 运行中协调操作，协调 checkpoint，协调恢复，至少要有一个 JobManager

  • TaskManager

    • 工作进程；包含多个线程——slots 作为资源进行分配

    • slots 向 ResourceManager 注册，JobManager申请就能够分配

    • slots 对应着运行并行度

      设置taskslot的时候推荐的就是设置为CPU的核数（虽然隔离的是内存，共享的是CPU，这样安排是因为避免各个slot之间共享CPU导致的CPU繁忙）
      并行度parallelsim和slots的关系是动态和静态的关系：也就是说，例如三个taskmanager（一个taskm