关于MapReduce的解压缩

Hadoop MapReduce优化：压缩技术详解

最新推荐文章于 2025-12-01 20:38:42 发布

原创最新推荐文章于 2025-12-01 20:38:42 发布 · 243 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#mapreduce #hadoop #大数据

Hadoop 专栏收录该内容

7 篇文章

订阅专栏

本文探讨了Hadoop MapReduce中的一种优化策略——数据压缩，旨在减少磁盘I/O并提升运行效率。主要介绍了Gzip、Bzip2、Lzo和Snappy四种压缩方法，它们各有优缺点。例如，Gzip和Bzip2压缩率高但速度较慢，Lzo和Snappy则在速度上占优，但压缩率较低。合理选择压缩方式对于平衡CPU和I/O资源至关重要。

Hadoop之MapReduce的压缩

这是mr的一种优化策略，通过压缩编码对mapper或者reducer的输出进行压缩，
以减少磁盘io，提高mr运行速度（但也增加了cpu运算负担）

1.为什么要压缩？
答：运算密集的job，少用压缩 -- IO密集的job多用压缩
2.优缺点？
答：优点=减少磁盘IO、减少磁盘存储空间
   缺点=增加了CPU的使用
3.哪几种方法？
答：
Gzip 压缩
   优点：压缩率比较高；
   缺点：不支持 Split；压缩/解压速度一般；
Bzip2 压缩
   优点：压缩率高；支持 Split；
   缺点：压缩/解压速度慢。
Lzo 压缩
   优点：压缩/解压速度比较快；支持 Split；
   缺点：压缩率一般；想支持切片需要额外创建索引。
Snappy 压缩
   优点：压缩和解压缩速度快；
   缺点：不支持 Split；压缩率一般；