Spark禁止输出标记文件设置

cg.family

于 2024-05-27 09:18:40 发布

阅读量205

点赞数 3

CC 4.0 BY-SA版权

文章标签： spark ajax 大数据

本文链接：https://blog.youkuaiyun.com/software_0215/article/details/139226362

// 限制spark输出往hdfs写._SUCCESS.crc文件
Configuration hconf = sc.hadoopConfiguration();
hconf.set("mapreduce.fileoutputcommitter.marksuccessfuljobs", "false");

// 限制spark输出往hdfs写.part-00000.crc文件
try {
	FileSystem fileSystem = FileSystem.get(hconf);
	fileSystem.setWriteChecksum(false);
} catch (IOException e) {
	e.printStackTrace();
}