本文详细介绍了Hive中四种主要的存储格式：TextFile、SequenceFile、ORCFile和Parquet。对比了它们的特点，如行式存储与列式存储的区别，数据压缩方式，以及对查询性能的影响。特别强调了ORCFile的高效性和Parquet的广泛应用。
1 textfile
行式存储
数据不进行压缩 网络开销比较大
·2 sequencefile 二进制文件
二进制文件，它将数据(key,value)的形式序列化到文件里
·3 ORC file
1. ORC是列式存储，有多种文件压缩方式，并且有着很高的压缩比。
2. 文件是可切分（Split）的。因此，在Hive中使用ORC作为表的文件存储格式，不仅节省HDFS存储资源，查询任务的输入数据量减少，使用的MapTask也就减少了
3. 提供了多种索引，row group index、bloom filter index。
4. ORC可以支持复杂的数据结构（比如Map等）
·4parquet
https://blog.51cto.com/11964104/2071800
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
