MapReduce工作笔记——Streaming输出output压缩

最新推荐文章于 2024-01-22 20:47:21 发布

原创最新推荐文章于 2024-01-22 20:47:21 发布 · 1.5k 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#hadoop #hadoop 输出 #hadoop 输出压缩

3.1 Hadoop 专栏收录该内容

12 篇文章

订阅专栏

本文详细介绍了在提交MapReduce作业时如何通过设置参数来启用并选择不同的压缩方式，包括gz、lzo和Bzip2等，以提高作业的运行效率。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

文章目录

MapReduce工作笔记 系列目录：MapReduce工作笔记——目录

提交job时指定如下参数：

-D mapred.output.compress=true \
-D mapred.output.compression.codec=[CODEC] \

其中[CODEC] 有如下几种：

# gz压缩:	
-D mapred.output.compression.codec=org.apache.hadoop.io.compress.GzipCodec
# lzo压缩：	
-D mapred.output.compression.codec=com.hadoop.compression.lzo.LzoCodec
# Bzip2压缩：	
-D mapred.output.compression.codec=org.apache.hadoop.io.compress.BZip2Codec