大数据-Hive压缩

Hive压缩

（一）Map输出阶段压缩方式

（1）开启Hive的压缩功能

set hive.exec.compress.intermediate = true;

（2）开启Map传输数据的压缩功能

set mapreduce.map.output.compress = true;

（3）设置压缩方式

set mapreduce.map.output.compress.codec = org.apache.hadoop.io.compress.SnappyCodec;

（二）Reduce输出阶段压缩方式

（1）开启Hive的压缩功能

set hive.exec.compress.output = true;

（2）开启Reduce输出数据的压缩功能

set mapreduce.output.fileoutputformat.compress = true;

（3）设置压缩方式

set mapreduce.output.fileoutputformat.compress.codec = org.apache.hadoop.io.compress.SnappyCodec;

（4）设置压缩类型

set mapreduce.output.fileoutputformat.compress.type = BLOCK;