Hadoop图像压缩

Hadoop图像解压缩

       Hadoop云平台可以完成 对海量图像数据的处理，其主要考虑到压缩速度和压缩图像的可分割性。

       压缩算法主要从时间和速度上进行权衡，更快的压缩和解压缩速度会占用更多的存储空间。Hadoop实现对文件的压缩主要先考虑到文件的可分割性，其次，利用mapduce并行算法实现对文件并行压缩。

        压缩文件的可分割性，例如我们在对HDFS中640M的文本文件进行处理，当前的HDFS数据块的大小为64M时，该文件被分为10块，对应的Mapreduce作业将文件分成10个输入分片，提供10个独立的map任务进行处理。同样在对压缩文件进行分片时，要考虑到Hadoop是否支持对压缩文件的可分割。例如如果该文件是一个gzip的格式的压缩文件(其大小不变)，不能进行分割，因为Hadoop不能从gzip的数据流中的某个点开始进行数据的解压，如果是一个zip类型的文件，即可实现对文件的解压，因为Hadoop支持zip压缩文件的分割。

  Hadoop为支持文件分割引入了编码/解码器 在 Hadoop的实现中，数据编码器和解码器被抽象成了两个接口：org.apache.hadoop.io.compress.Compressor、org.