本文探讨了Hive中不同压缩格式（如Snappy、LZ4、LZO、GZIP和BZIP2）的压缩比率、压缩与解压时间，并提供选择合适压缩格式的依据。在压缩比上，Snappy、LZ4和LZO更优，但在CPU消耗和时间成本上较高。而GZIP和BZIP2虽然压缩率更高，但压缩解压时间较长。适合冷备份的是GZIP和BZIP2，Map阶段常用Snappy，Reduce阶段则视存储或并行处理需求选择压缩格式。
转载：
https://blog.youkuaiyun.com/qq_32641659/article/details/88997844
压缩能够减少存储磁盘空间，降低网络IO和磁盘IO，加快数据在磁盘和网络中的传输速度，从而提高系统的处理速度。
虽然由以上的好处，但是由于使用数据时，需要先将数据解压，加重了CPU负荷。根据我们的实际工作场景，我们要选择合适的压缩格式。
常见的压缩格式如下：
下面是一份源数据1.4G的文件，各类压缩格式的比率和时间对比
数据压缩后大小：
压缩和解压时间：
从上面对比可以看出：
在压缩数据比上：
Snappy、LZ4、LZO可以压缩到50%左右
GZIP、BZIP2可以压缩到30%左右
在压缩和解压时间上：
Snappy、LZ4、LZO 的压缩时间非常接近，范围6-8秒内；Snappy的解压时间是最高的，是压缩时间的3倍，其次是LZO，LZ4解压时间最低
GZIP、BZIP2 的压缩和解压时间都非常高。
总结一句话就是：压缩比率高的，压缩和解压时间花费就比较长。
那么我们如何选择合适的压缩格式呢？
Snappy：压缩速度快；支持ha
最低0.47元/天 解锁文章
扫一扫
2702
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
