hive中的文件格式和压缩类型

最新推荐文章于 2022-11-13 23:07:45 发布

原创

最新推荐文章于 2022-11-13 23:07:45 发布 · 953 阅读

5 ·

CC 4.0 BY-SA版权

文章标签：

#数据仓库

本文介绍了Hive中的几种文件格式，包括TEXTFILE、SequenceFile、RCFILE、ORCFILE和Parquet，详细讨论了它们的特点和适用场景。其中，TEXTFILE是默认格式但磁盘开销大，SequenceFile支持压缩但无法并行操作，RCFILE和ORCFILE在压缩和查询效率上有优势，而Parquet则以优秀的压缩性能和列式存储著称。此外，还提及了Hive支持的压缩格式如Gzip、Bzip2等。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Hive中的文件格式

1-TEXTFILE

文本格式，Hive的默认格式，数据不压缩，磁盘开销大、数据解析开销大。
对应的hive API为：org.apache.hadoop.mapred.TextInputFormat和org.apache.hive.ql.io.HiveIgnoreKeyTextOutputFormat；
可结合Gzip、Bzip2使用(系统自动检查，执行查询时自动解压)，但是使用这种方式，hive不会对数据进行切分，从而无法对数据进行并行操作

2-SequenceFile

Hadoop提供的二进制文件，Hadoop支持的标准文件；
数据直接序列化到文件中，SequenceFile文件不能直接查看，可以通过Hadoop fs -text查看；
SequenceFile具有使用方便、可分割、可压缩、可进行切片，压缩支持NONE、RECORD、BLOCK（优先）；
对应hive API：org.apache.hadoop.mapred.SequenceFileInputFormat和org.apache.hadoop.hive.ql.io.HiveSequenceFileOutputFormat

3-RCFILE

rcfile是一种行列存储相结合的存储方式，先将数据按行进行分块再按列式存储，保证同一条记录在一个块上，避免读取多个块，有利于数据压缩和快速进行列存储；
对应 hive API为：org.apache.hadoop.hive.ql.io.RCFileInputFormat和org.apache.hadoop.hive.ql.io.RCFileOutputFormat

4-orcfile