Flink部署

Flink部署

1.1集群角色

1.2 Flink集群搭建

1.2.1 下载并解压安装包

1. 下载安装包flink-1.17.0-bin-scala_2.12.tgz
2. 解压到/opt/module目录
   tar -zxvf flink-1.17.0-bin-scala_2.12.tgz -C /opt/module/

1.2.2 修改集群配置

1. 进入conf路径，修改flink-conf.yaml文件，指定hadoop102节点服务器为JobManager
   vim flink-conf.yaml
   修改如下内容：

# JobManager节点地址.
jobmanager.rpc.address: hadoop102
jobmanager.bind-host: 0.0.0.0
rest.address: hadoop102
rest.bind-address: 0.0.0.0
# TaskManager节点地址.需要配置为当前机器名
taskmanager.bind-host: 0.0.0.0
taskmanager.host: hadoop102

2. 修改workers文件，指定hadoop102、hadoop103和hadoop104为TaskManager
   vim workers
   修改如下内容：

hadoop102
hadoop103
hadoop104

3. 修改masters文件
   vim masters
   修改如下内容：

hadoop102:8081

4. 另外，在flink-conf.yaml文件中还可以对集群中的JobManager和TaskManager组件进行优化配置，主要配置项如下：

jobmanager.memory.process.size：对JobManager进程可使用到的全部内存进行配置，包括JVM元空间和其他开销，默认为1600M，可以根据集群规模进行适当调整。
taskmanager.memory.process.size：对TaskManager进程可使用到的全部内存进行配置，包括JVM元空间和其他开销，默认为1728M，可以根据集群规模进行适当调整。
taskmanager.numberOfTaskSlots：对每个TaskManager能够分配的Slot数量进行配置，默认为1，可根据TaskManager所在的机器能够提供给Flink的CPU数量决定。所谓Slot就是TaskManager中具体运行一个任务所分配的计算资源。
parallelism.default：Flink任务执行的并行度，默认为1。优先级低于代码中进行的并行度配置和任务提交时使用参数指定的并行度数量。

1.2.3 分发安装目录

（1）配置修改完毕后，将Flink安装目录发给另外两个节点服务器。
xsync flink-1.17.0/
（2）修改hadoop103的 taskmanager.host
vim flink-conf.yaml
修改如下内容：

# TaskManager节点地址.需要配置为当前机器名
taskmanager.host: hadoop103

（3）修改hadoop104的 taskmanager.host
vim flink-conf.yaml
修改如下内容：

# TaskManager节点地址.需要配置为当前机器名
taskmanager.host: hadoop104

1.2.4 启动集群

（1）在hadoop102节点服务器上执行start-cluster.sh启动Flink集群：
[atguigu@hadoop102 flink-1.17.0]$ bin/start-cluster.sh
（2）查看进程情况：
jpsall

=============== hadoop102 ===============
4453 StandaloneSessionClusterEntrypoint
4458 TaskManagerRunner
4533 Jps
=============== hadoop103 ===============
2872 TaskManagerRunner
2941 Jps
=============== hadoop104 ===============
2948 Jps
2876 TaskManagerRunner

1.3 向集群提交作业

1）环境准备

在hadoop102中执行以下命令启动netcat
nc -lk 7777

2）程序打包

（1）在我们编写的Flink入门程序的pom.xml文件中添加打包插件的配置，具体如下：

<build>
    <plugins>
        <plugin>
            <groupId>org.apache.maven.plugins</groupId>
            <artifactId>maven-shade-plugin</artifactId>
            <version>3.2.4</version>
            <executions>
                <execution>
                    <phase>package</phase>
                    <goals>
                        <goal>shade</goal>
                    </goals>
                    <configuration>
                        <artifactSet>
                            <excludes>
                                <exclude>com.google.code.findbugs:jsr305</exclude>
                                <exclude>org.slf4j:*</exclude>
                                <exclude>log4j:*</exclude>
                            </excludes>
                        </artifactSet>
                        <filters>
                            <filter>
                                <!-- Do not copy the signatures in the META-INF folder.
                                Otherwise, this might cause SecurityExceptions when using the JAR. -->