Hive不同存储格式的压缩和查询效率比对

	新数仓			老数仓
原文件大小	100G	100G	100G	100G	100G
存储格式	ORC	Sequencefile	Parquet	RCfile	Avro
存储大小	1.8G	67.0G	11G	63.8G	66.7G
存储耗费时间	535.7s	625.8s	537.3s	543.48s	544.3s
SQL查询响应速度	19.63s	184.07s	24.22s	88.5s	281.65s
压缩到dw_compress后大小	不再压缩			12.3G
1，原始文件大小为100G左右。 2，原始日志格式为textfile文件（标准JSON）。 3，新数仓直接存储后数据压缩率达到90%以上，查询效率高，无需再次压缩。 4，老数仓直接存储后数据压缩率维持40%左右，查询效率低，压缩到压缩库后压缩率达到80%左右，但再压缩耗时，解压缩也很耗时。

1、新数仓全部采用ORC格式以后，相同数据空间占用率降低50%以上，且查询效率更高。

2、由于数据的压缩效率已经很高，所以新数仓不再需要压缩库进行单独压缩，所有数据都原表存放，这样可以保证在原表中存放更多的历史数据。

3、对于超过一定时间的历史数据（根据表不同，初步确定为2年，后续根据具体数据的热度情况调整），直接进行原目录归档，然后删除表中分区等元数据信息。

4、Orc的高压缩率也带来一个小的问题，就是对于这种map类型的字段查询效率会有所降低，针对这个问题，新数仓已经将核心主题的map常用字段进行了解析，所以请大家尽量使用各个已经解析好的主题表。