// 限制spark输出往hdfs写._SUCCESS.crc文件
Configuration hconf = sc.hadoopConfiguration();
hconf.set("mapreduce.fileoutputcommitter.marksuccessfuljobs", "false");
// 限制spark输出往hdfs写.part-00000.crc文件
try {
FileSystem fileSystem = FileSystem.get(hconf);
fileSystem.setWriteChecksum(false);
} catch (IOException e) {
e.printStackTrace();
}

04-08
1237
1237

被折叠的 条评论
为什么被折叠?



