浅谈hive中数据的几种压缩方式

hive库中有个表，表名叫做user_info_base表创表的命令是：
create table user_info_base(
    id string,
    name string,
    age string
)row format delimited fields terminated by '\t' LINES TERMINATED BY '\n'
  stored as textfile;

现对user_info_base表中数据进行压缩，具体压缩方式分以下两种：

1，数据压缩成TXTfile：
#创建临时用中间表，表结构和源表相同
create table user_info_base_txtfile like user_info_base;
#hive中开启压缩模式
set hive.exec.compress.output=true;  
set mapred.output.compress=true;  
set mapred.output.compression.codec=org.apache.hadoop.io.compress.GzipCodec;    -----注可修改压缩格式Gzip，可自己百度搜索
set io.compression.codecs=org.apache.hadoop.io.compress.GzipCodec;      
#向临时表中插入数据
insert into table user_info_base_txtfile select * from user_info_base;
#查看两个表大小对比
hadoop fs -dus -h /user/hive/warehouse/user_info_base*
#删除源表
drop table  user_info_base;
#修改表名
alter table user_info_base_txtfile rename to user_info_base;

2，数据压缩成rcfile：
#创建临时用中间表，重新编写创表语句：
create table user_info_base_rcfile(
id string,
name string,
age string
)row format delimited
fields terminated by '\t' stored as RCFILE;
#hive中开启压缩模式
set hive.exec.compress.output=true;  
set mapred.output.compress=true;  
set mapred.output.compression.codec=org.apache.hadoop.io.compress.GzipCodec;    -----注可修改压缩格式Gzip，可自己百度搜索
set io.compression.codecs=org.apache.hadoop.io.compress.GzipCodec;  
#向临时表中插入数据
insert into table user_info_base_rcfile select * from user_info_base;
#查看两个表大小对比
hadoop fs -dus -h /user/hive/warehouse/user_info_base*
#删除源表
drop table  user_info_base;
#修改表名
alter table user_info_base_txtfile rename to user_info_base;

经实测，压缩比例一般能达到80%，即100G的txt文件能压缩至20G

两种压缩存储的对比：
txtfile：数据查询时间慢，数据压缩较快，入库快，可数据可直接入库
rcfile：数据查询效率快，数据压缩较慢，数据无法直接入库，由txtfile加载而来。

注：数据压缩后的表进行数据查询会比普通的表消耗较多cpu，但减少各主机IO压力。
注：还有种压缩方式为sequencefile，功能和rcfile差不多，但效果没rcfile好。