1.8.4 大数据-Spark-Yarn集群模式配置

txidol-Fly

于 2020-09-20 01:28:11 发布

阅读量514

点赞数

分类专栏：大数据Step1-安装与演示文章标签： hadoop spark 大数据

本文链接：https://blog.youkuaiyun.com/tanxiang21/article/details/108688439

版权

本文档详细介绍了Spark在Yarn集群模式下的配置步骤，包括客户端和服务端的执行模式。在客户端模式执行时遇到内存警告和库上传问题，通过调整配置解决了问题。在服务端模式下，由于应用尝试访问不存在的本地文件导致失败，解决办法是确保所有节点都能访问到所需文件。此外，还提到了日志查看的配置方法。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

客户端yarn模式执行

bin/spark-shell  --master yarn --deploy-mode client

问题 `HADOOP_CONF_DIR or YARN_CONF_DIR must be set`

Exception in thread "main" java.lang.Exception: When running with master 'yarn' either HADOOP_CONF_DIR or YARN_CONF_DIR must be set in the environment.

配置 `spark-env.sh`

HADOOP_CONF_DIR=/opt/modules/hadoop-2.5.0/etc/hadoop

问题 `Failed to send RPC`

20/06/23 13:45:03 WARN Client: Neither spark.yarn.jars nor spark.yarn.archive is set, falling back to uploading libraries under SPARK_HOME.
20/06/23 13:45:17 ERROR TransportClient: Failed to send RPC 6188108099837837547 to /192.168.0.153:37248: java.nio.channels.ClosedChannelException
java.nio.channels.ClosedChannelException
at io.netty.channel.AbstractChannel$AbstractUnsafe.write(…)(Unknown Source)

原因：据说虚拟内存爆了，另外yarn默认是8G一个机器，我是6G所以一起调小点

配置 `yarn-site.xm`l配置

<property>
	<name>yarn.nodemanager.vmem-check-enabled</name>
	<value>false</value>
</property>
<property>
    <name>yarn.nodemanager.pmem-check-enabled</name>
	<value>false</value>
</property>