Spark 合并小文件失败 出现IOException :No space left on device 定位
记录一下导师周末给菜鸟实习生安排的任务背景Flume在采集数据的时候向HDFS中写入会生成很多小文件,现在的话是通过spark 写的一个程序去合并这些小文件,但是会出现合并小文件失败的情况,按理来说这是很简单的一个Job,不应该有失败的理由,于是就开始了下面的旅程:定位问题:首先找到错误日志,发现是启动merge脚本的时候出现异常从上面的异常定位到下面的异常,发现是spark出现的IO...
原创
2019-12-15 15:17:52 ·
2135 阅读 ·
0 评论