// 限制spark输出往hdfs写._SUCCESS.crc文件
Configuration hconf = sc.hadoopConfiguration();
hconf.set("mapreduce.fileoutputcommitter.marksuccessfuljobs", "false");
// 限制spark输出往hdfs写.part-00000.crc文件
try {
FileSystem fileSystem = FileSystem.get(hconf);
fileSystem.setWriteChecksum(false);
} catch (IOException e) {
e.printStackTrace();
}
Spark禁止输出标记文件设置
Spark与Ajax助力大数据
最新推荐文章于 2024-12-29 22:02:50 发布
7090

被折叠的 条评论
为什么被折叠?



