用Spark 2跑SparkPi的问题

最新推荐文章于 2024-05-29 13:28:02 发布

转载最新推荐文章于 2024-05-29 13:28:02 发布 · 523 阅读

大数据专栏收录该内容

6 篇文章

订阅专栏

本文介绍了如何通过修改yarn-site.xml和mapred-site.xml文件来解决因类路径配置不当导致的AMContainer错误问题。提供了具体的配置示例。

出现Application failed 2 times due to AM Container

在yarn-site.xml中添加下面的

<property>

<name>yarn.application.classpath</name>

<value

>$HADOOP_CLIENT_CONF_DIR,$HADOOP_CONF_DIR,$HADOOP_COMMON_HOME/*,$HADOOP_COMMON_HOME/lib/*,$HADOOP_HDFS_HOME/*,$HADOOP_HDFS_HOME/lib/*,$HADOOP_YARN_HOME/*,$HADOOP_YARN_HOME/lib/*</

value>

</property>

即可。

还一种方法没试过：

在mapred-site.xml中添加

mapreduce.application.classpath

$HADOOP_CONF_DIR,$HADOOP_COMMON_HOME/*, $HADOOP_COMMON_HOME/lib/*,
 $HADOOP_HDFS_HOME/*, $HADOOP_HDFS_HOME/lib/*, $HADOOP_MAPRED_HOME/*, $HADOOP_MAPRED_HOME/lib/*, $HADOOP_YARN_HOME/*, $HADOOP_YARN_HOME/lib/*