Flink安装部署详细指南

我们来详细讲解一下 Apache Flink 的安装和部署。Flink 的部署模式非常灵活，主要分为单机模式（Standalone）、集群模式（Standalone Cluster） 和基于资源管理器的模式（如 YARN, Kubernetes, Mesos）。

对于学习和测试，通常从单机和 Standalone 集群开始；而对于生产环境，YARN 和 Kubernetes 是更主流的选择。

---

一、核心概念与部署模式简介

在开始安装前，先了解两个核心概念：

1. JobManager (Master): 负责协调分布式任务的执行，如调度任务、协调检查点（Checkpoint）、故障恢复等。它是集群的“大脑”。
2. TaskManager (Worker): 负责执行数据流中的具体任务（Tasks），并提供内存来存储缓存数据。每个 Worker 都是一个 JVM 进程。

基于这两个组件，Flink 主要有三种部署模式：

• Session Mode (会话模式): 先启动一个长期运行的集群（包含 JobManager 和 TaskManagers），然后向这个集群提交多个作业。所有作业共享集群资源。适合执行时间短、交互式的查询作业。
• Per-Job Mode (作业模式): 为每个提交的作业启动一个独立的集群。作业完成后，集群资源释放。作业之间资源隔离性好，适合长期运行的大型作业。
• Application Mode (应用模式): 将应用程序的 main() 方法在集群上运行，而不是在客户端运行。这减轻了客户端的压力，并且更好地实现了应用依赖的隔离。这是推荐的生产模式之一。

---

二、准备工作

1. Java: 确保所有节点已安装 Java 8 或 11。这是运行 Flink 的唯一必需条件。

   java -version
   

2. 下载 Flink: 从 Apache Flink 官网 下载稳定版本的二进制包，如 flink-1.17.1-bin-scala_2.12.tgz。
3. SSH 无密码登录（集群模式）: 如果你要部署多节点的 Standalone 集群，需要配置主节点到所有工作节点的 SSH 无密码登录。

---

三、安装部署实践

模式 1：本地单机模式 (Local)

这是最简单的方式，主要用于本地测试和调试。它会在单个 JVM 进程中启动一个迷你集群（包含一个 JobManager 和一个 TaskManager）。

步骤：

1. 解压下载的 Flink 包。

   tar -xzf flink-1.17.1-bin-scala_2.12.tgz