hadoop的压缩方式snappy

文件压缩有两大好处，节约磁盘空间，加速数据在网络和磁盘上的传输

在重新编译过hadoop的c源码后才可以用谷歌的snappy压缩。

我们可以使用bin/hadoop checknative  来查看我们编译之后的hadoop支持的各种压缩，如果出现openssl为false，那么就在线安装一下依赖包

//查看压缩支持情况    bin/hadoop checknative

//在线安装   yum install openssl-devel

这种压缩对应的java类

压缩格式	对应使用的java类
DEFLATE	org.apache.hadoop.io.compress.DeFaultCodec
gzip	org.apache.hadoop.io.compress.GZipCodec
bzip2	org.apache.hadoop.io.compress.BZip2Codec
LZO	com.hadoop.compression.lzo.LzopCodec
LZ4	org.apache.hadoop.io.compress.Lz4Codec
Snappy	org.apache.hadoop.io.compress.SnappyCodec

压缩格式代码实现:

1.在代码中实现(一般使用这一种)

在主程序的configuration中设置压缩类以及其他参数

map阶段:

Configuration configuration = new Configuration();
configuration.set("mapreduce.map.output.compress","true");
configuration.set("mapreduce.map.output.compress.codec","org.apache.hadoop.io.compress.SnappyCodec");

reduce阶段:

configuration.set("mapreduce.output.fileoutputformat.compress","true");
configuration.set("mapreduce.output.fileoutputformat.compress.type","RECORD");
configuration.set("mapreduce.output.fileoutputformat.compress.codec","org.apache.hadoop.io.compress.SnappyCodec");

2.配置全局变量,以后默认snappy压缩

修改yarn集权的mapred-site.xml配置文件

map端压缩参数:

<property>

          <name>mapreduce.map.output.compress</name>

          <value>true</value>

</property>

<property>

         <name>mapreduce.map.output.compress.codec</name>

         <value>org.apache.hadoop.io.compress.SnappyCodec</value>

</property>

reduce端压缩参数:

<property>       <name>mapreduce.output.fileoutputformat.compress</name>

       <value>true</value>

</property>

<property>         <name>mapreduce.output.fileoutputformat.compress.type</name>

        <value>RECORD</value>

</property>

 <property>        <name>mapreduce.output.fileoutputformat.compress.codec</name>

        <value>org.apache.hadoop.io.compress.SnappyCodec</value> </property>

每台机器都需要修改此参数,没有的话就添加上，然后重启集群.