Hadoop中的文件压缩和压缩算法配置详解

最新推荐文章于 2023-03-02 05:45:00 发布

皮哥四月红

最新推荐文章于 2023-03-02 05:45:00 发布

阅读量984

点赞数 2

分类专栏： Hadoop 文章标签： hadoop 大数据 mapreduce

本文链接：https://blog.youkuaiyun.com/weixin_43230682/article/details/107917445

版权

本文详细介绍了Hadoop中如何配置文件压缩，包括支持的压缩算法如LZO和Snappy，以及如何在代码和配置文件(mapred-site.xml)中启用压缩，以提升数据传输效率并节省存储空间。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在MapReduce的Shuffle阶段，可以看到数据通过大量的拷贝，从map阶段输出的数据，都要通过网络拷贝，发送到reduce阶段，这一过程中，涉及到大量的网络IO，如果数据能够进行压缩，那么数据的发送量就会少得多，那么如何配置hadoop的文件压缩呢，以及hadoop当中的文件压缩支持哪些压缩算法呢？

1、hadoop当中支持的压缩算法

文件压缩有两大好处，节约磁盘空间，加速数据在网络和磁盘上的传输

前面我们的hadoop的版本经过我们重新编译之后，我们可以看到我们的hadoop已经支持所有的压缩格式了，剩下的问题就是我们该如何选择使用这些压缩格式来对我们的MapReduce程序进行压缩。

我们可以使用 bin/hadoop checknative 来查看我们编译之后的hadoop支持的各种压缩，如果出现openssl为false，那么就在线安装一下依赖包：

bin/hadoop checknative
yum install openssl-devel

[hadoop@node01 hadoop-2.6.0-cdh5.14.2]$ bin/hadoop checknative
20/08/11 17:11:36 INFO bzip2.Bzip2Factory: Successfully loaded & initialized native-bzip2 library system-native
20/08/11 17:11:36 INFO zlib.ZlibFactory: Successfully loaded & initialized native-zlib library
Native library checking:

hadoop:  true /xsluo/install/hadoop-2.6.0-cdh5.14.2/lib/native/libhadoop.so.1.0.0
zlib:    true /lib64/libz.so.1
snappy:  true /lib64/libsnappy.so.1
lz4:     true revision:10301
bzip2:   true /lib64/libbz2.so.1
openssl: true /lib64/libcrypto.so

hadoop支持的压缩算法