本文详细介绍了Hive中的四种存储格式：TextFile、RCFile、ORCFile和Parquet。对比了它们在压缩效率、查询性能及模式演进支持方面的优劣。TextFile不支持压缩，RCFile结合行和列存储提高压缩和查询效率，ORCFile作为RCFile的改良版，提供更高效率的压缩和查询，而Parquet不仅压缩效果好，还支持有限的模式演进。
一、四种存储格式介绍
1、TestFile
TextFile文件不支持块压缩，默认格式，数据不做压缩，磁盘开销大，数据解析开销大。这边不做深入介绍。
2、RCFile
Record Columnar的缩写。是Hadoop中第一个列文件格式。能够很好的压缩和快速的查询性能，但是不支持模式演进。通常
写操作比较慢，比非列形式的文件格式需要更多的内存空间和计算量。
RCFile是一种行列存储相结合的存储方式。首先，其将数据按行分块，保证同一个record在一个块上，避免读一个记录需要读
取多个block。其次，块数据列式存储，有利于数据压缩和快速的列存取。
3、ORCFile
存储方式：数据按行分块 每块按照列存储 ，压缩快 快速列存取，效率比rcfile高,是rcfile的改良版本，相比RC能够更好的压
缩，能够更快的查询，但还是不支持模式演进。
4、Parquet
Parquet能够很好的压缩，有很好的查询性能，支持有限的模式演进。但是写速度通常比较慢。这中文件格式主要是用在
Cloudera Impala上面的。
扫一扫
2496
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
