[hadoop]常用压缩格式在Hadoop中的应用(spark)
目前在Hadoop中用得比较多的有lzo，gzip，snappy，bzip2这4种压缩格式，笔者根据实践经验介绍一下这4种压缩格式的优缺点和应用场景，以便大家在实践中根据实际情况选择不同的压缩格式。
1 gzip压缩
优点：压缩率比较高，而且压缩/解压速度也比较快；hadoop本身支持，在应用中处理gzip格式的文件就和直接处理文本一样；有hadoop na
原创
2017-12-07 19:20:11 ·
1213 阅读 ·
0 评论
关注
分享
扫一扫