Flink on Yarn安装部署

一、Flink安装及环境配置

1.解压hadoop安装包到/opt/module中

tar –zxvf flink-1.14.0-bin-scala_2.12.tgz –C /opt/module

cd /opt/module

mv flink-1.14.0-bin-scala_2.12.tgz flink1.14

2. 配置Flink环境变量，编辑文件/etc/profile,添加内容，输入命令使其生效

vi /etc/profile

增加以下内容：

export FLINK_HOME=flink1.14

export PATH=$PATH:$FLINK_HOME/bin

export HADOOP_CLASSPATH=`hadoop classpath`

export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop

生效环境变量：

source /etc/profile

3.修改配置文件

vim /opt/module/flink1.14/conf/flink-conf.yaml

jobmanager.memory.process.size: 1600m

taskmanager.memory.process.size: 1728m

taskmanager.numberOfTaskSlots: 1

parallelism.default: 1

添加内容：

classloader.check-leaked-classloader:   false

4.提交任务

1)会话(session)模式

yarn-session.sh -n 2 -tm 800 -s 1 -d #申请资源

flink run examples/batch/WordCount.jar #递交作业

2)分离(per-job)模式

flink run -m yarn-cluster -yjm 2G -ytm 2G $FLINK_HOME/examples/batch/WordCount.jar #作业提交的同时申请资源