Start a long-running Flink cluster on YARN遇到的问题总结

最新推荐文章于 2024-04-25 20:18:07 发布

需要梦想丶

最新推荐文章于 2024-04-25 20:18:07 发布

阅读量441

点赞数

分类专栏： flink 文章标签： flink

本文链接：https://blog.youkuaiyun.com/qq_22583191/article/details/104175932

版权

flink 专栏收录该内容

8 篇文章

订阅专栏

本文详细介绍了如何在Hadoop和Yarn环境下部署Flink的Session-Cluster模式，包括集群启动步骤、资源配置参数解析及常见错误解决方案。适用于规模较小、执行时间较短的作业场景。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Session-Cluster模式需要先启动集群，然后再提交作业，接着会向yarn申请一块空间后，资源永远保持不变。如果资源满了，下一个作业就无法提交，只能等到yarn中的其中一个作业执行完成后，释放了资源，下个作业才会正常提交。所有作业共享Dispatcher和ResourceManager；共享资源；适合规模小执行时间短的作业。

先启动Hadoop和Yarn这个就不说了哟…

xxxx/app/hadoop-2.6.0-cdh5.15.1/sbin/start-all.sh  全部启动hdfs和yarn
jps可以查看的

在这里插入图片描述
然后去Flink根目录下面执行

./bin/yarn-session.sh -n 1 -jm 1024m -tm 4096m

参数什么意思大家一看就知道啦，我不多说
-n,–container Number of YARN container to allocate (=Number of Task Managers)
-jm,–jobManagerMemory Memory for JobManager Container with optional unit (default: MB)
-tm,–taskManagerMemory Memory per TaskManager Container with optional unit (default: MB)

问题来了，执行时候有问题：

ClassNotFoundException: org.apache.hadoop.yarn.exceptions.

我的解决方法是找到下面两个jar包，放到flink的lib下面去:

flink-shaded-hadoop-2-2.6.0-cdh5.15.1-7.0.jar
flink-shaded-hadoop-2-uber-2.6.0-cdh5.15.1-7.0.jar

重新执行：./bin/yarn-session.sh -n 1 -jm 1024m -tm 4096m
但是很不幸又有另外一个问题：

org.apache.commons.cli.Option.builder(Ljava/lang/String;)Lorg/apache/commons/cli/Option$Builder

在这里插入图片描述
这个时候呢，再去找一个jar包：

commons-cli-1.4.jar

最后再执行./bin/yarn-session.sh -n 1 -jm 1024m -tm 4096m没问题了，开心！
在这里插入图片描述
如果你问我到哪去找到的这些jar包的话，因为我maven源码编译Flink时候已经下载好了，在我服务器的中央仓库里面。我的Flink是1.9.0版本的，hadoop是2-2.6.0-cdh5.15.1版本的，如果你们版本跟我一样可以留言，我发给你！谢谢观看！