Flink随笔（一）野生使用Hadoop yarn,hdfs

最新推荐文章于 2025-04-09 22:45:55 发布

OOM先生

最新推荐文章于 2025-04-09 22:45:55 发布

阅读量701

点赞数

分类专栏： Flink随笔文章标签： hadoop

本文链接：https://blog.youkuaiyun.com/xiaoliu_1/article/details/113759300

版权

本文记录了在Hadoop小集群上使用Flink进行实战的过程。首先说明了由于SRE权限限制，选择了一台能连接Master的机器进行操作。接着详细介绍了操作步骤，包括下载Hadoop和Flink，解压并配置环境变量，确保Flink能使用Hadoop。最终成功运行了Flink作业，通过`yarn-session.sh`命令启动了YARN会话。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

说明

组内搭建一个小集群， 10+个节点，因为SRE 权限没给到，想在上边跑一些自己的任务，找了一台能连接到Master 的机器。

其实有了 Hadoop Yarn 和 HDFS ，客户端只要能够提交就可以，但是需要用到hadoop 的一些配置等，所以需要安装

操作

下载Hadoop （已经3.X 了，当年还是0.20.2 的版本看源代码）

https://mirrors.bfsu.edu.cn/apache/hadoop/common/hadoop-3.1.4/hadoop-3.1.4.tar.gz

下载flink (当前最新 1.12.1 )

wget http://mirror.bit.edu.cn/apache/flink/flink-1.12.1/flink-1.12.1-bin-scala_2.12.tgz

解压到目标目录（为了方便就基本当前目录 tar -zxvf xxx.tar.gz）

配置环境变量，让Flink能够检测到并且使用Hadoop 程序

export JAVA_HOME=/xxxx/jvm/java-8-openjdk-amd64/jre
export HADOOP_HOME=/xxxx/hadoop-3.1.4
export PATH=$HADOOP_HOME/bin:$PATH
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export HADOOP_CLAS