cloudera学习--Choosing and Configuring Data Compression

数据压缩和压缩格式会对性能产生重大影响。考虑数据压缩的三个重要位置是MapReduce和Spark作业、存储在HBase中的数据和Impala查询。在很大程度上，每个原则都是相似的。

您必须平衡压缩和解压缩数据所需的处理能力、读写数据所需的磁盘IO和跨网络发送数据所需的网络带宽。这些因素的正确平衡取决于集群和数据的特性以及使用模式。

如果您的数据已经被压缩(例如JPEG格式的图像)，则不建议进行压缩。事实上，生成的文件有时可能比原始文件更大。

Compression Types

Hadoop supports the following compression types and codecs:

• gzip - org.apache.hadoop.io.compress.GzipCodec
• bzip2 - org.apache.hadoop.io.compress.BZip2Codec
• LZO - com.hadoop.compression.lzo.LzopCodec
• Snappy - org.apache.hadoop.io.compress.SnappyCodec
• Deflate - org.apache.hadoop.io.compress.DeflateCodec

有关选择压缩类型和配置压缩的指南. For details, see Using Apache Avro Data Files with CDH and Using Apache Parquet Data Files with CDH.

GZIP压缩比Snappy或LZO使用更多的CPU资源，但提供了更高的压缩比。对于不经常访问的冷数据，GZip通常是一个很好的选择。对于频繁访问的热数据，Snappy或LZO是更好的选择。

对于某些类型的文件，BZip2也可以产生比GZip更多的压缩，但在压缩和解压缩时需要一定的速度。HBase不支持BZip2压缩。

Snappy通常比LZO表现得更好。有必要运行测试，看看是否检测到显著差异。

对于MapReduce，如果需要可分割的压缩数据，可以分割BZip2和LZO格式。Snappy和GZip块是不可分割的，但是在容器文件格式(如SequenceFile或Avro)中包含Snappy块的文件可以被分割。Snappy打算与容器格式一起使用，比如sequencefile或Avro数据文件，而不是直接在纯文本上使用，例如，后者是不可分割的，不能使用MapReduce并行处理。可裂性与HBase数据无关。