本文详细介绍了在使用Spark应用程序时遇到YARN Node变为Unhealthy的问题，原因在于磁盘空间不足，主要是由于上传的assembly包占用大量空间。文章提供了解决方法并强调了SparkOnYarn中`spark.yarn.jar`属性的使用。
今天测试过程中发现YARN Node变成Unhealthy了，后来定位到硬盘空间不够。。。。。
通过查找大于100M的文件时发现有N多个spark-assembly-1.4.0-SNAPSHOT-hadoop2.5.0-cdh5.3.1.jar包，大小为170多M，
每提交一个application到yarn上执行，就会上传一个assembly包，application个数一多，磁盘就本占用了N多空间。。。。
Spark On YARN使用时上传jar包过多导致磁盘空间不够。。。
扫一扫
评论
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
查看更多评论
添加红包
