Hadoop数据压缩 与 数据清洗ETL

一、压缩概述

优缺点

优点：减少磁盘IO、减少磁盘存储空间；
缺点：增加CPU开销。

原则

1. 运算密集型的job，少用压缩；
2. IO密集型的job，多用压缩。

二、MR 支持的压缩编码

1. 压缩算法对比
   
2. 压缩性能比较
   

三、压缩方式选择

压缩方式选择时重点考虑:压缩/解压缩速度、压缩率(压缩后存储大小)、压缩后是否可以支持切片。

Gzip压缩

优点:压缩率比较高;
缺点:不支持 Split;压缩/解压速度一般;

Bzip2 压缩

优点:压缩率高;支持 Split;
缺点:压缩/解压速度慢。

Lzo压缩

优点：压缩/解压速度比较快；支持split；
缺点：压缩率一般；想支持切片需要额外创建索引。

Snappy压缩

优点