Spark on Yarn模式运行错误:
bin/spark-shell --master yarn --deploy-mode client
#报错
查看8088页面上的工作日志
错误原因:在执行任务时检测到虚拟机的内存太小,2.2g的虚拟内存实际值,超过了2.1g的上限,不能满足该任务所需的内存要求,于是Yarn就干掉了执行此任务的contrainer。
解决办法:
在yarn-site.xml文件中加入以下两项配置:
<property>
<name>yarn.nodemanager.pmem-check-enabled</name>
<value>false</value>
</property>
<property>