对hive二进制存储格式,即SequenceFile和RCFile的思考总结

最新推荐文章于 2025-05-14 22:27:35 发布

自封的羽球大佬

最新推荐文章于 2025-05-14 22:27:35 发布

阅读量2.5k

点赞数

分类专栏： Hive 文章标签： hive SequenceFile RCFile

本文链接：https://blog.youkuaiyun.com/qq_40795214/article/details/81591728

版权

Hive 专栏收录该内容

3 篇文章

订阅专栏

本文总结了Hive的二进制存储格式SequenceFile和RCFile，包括它们与TextFile的区别、压缩支持、内存效率及使用场景。SequenceFile面向行，RCFile面向列，支持压缩和文件切割，但SequenceFile在查询单列时可能导致内存浪费，而RCFile能有效解决这一问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1. SequenceFile是面向行，RCFile是面向列。

2. TextFile，SequenceFile，RCFile是hive常用的三种存储格式。其中，TextFile是hive默认的存储格式，SequenceFile和RCFile是二进制存储格式。

3. 相比于TextFile，SequenceFile和RCFile支持压缩，文件压缩后上传到HDFS上，下载后不支持直接查看，故所占存储空间要小，磁盘和IO压力小，也更易优化。此外，SequenceFile和RCFile也支持文件切割分片，其中，RCFile会将表分成行分片（row split），在每一个分片中先存所有行的第一列，再存第二列，依此类推。

4. SequenceFile和RCFile的比较：不可否认的，当我们只需要查询某一列的数据时，SequenceFile往往会将整个数据行都加载到内存中，这将造成内存的浪费。然而，值得庆幸的是，RCFile却可以完全解决这个问题。使用RCFile创建表的操作如下：

CREATE TABLE ...
ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.columnar.ColumnarSerDe'
STORED AS RCFILE;

5. 特别的，当使用压缩顺序文件来存储hive所产生的表时，需要设置一下几个参数：

SET hive.exec.compress.output=true;
SET mapred.output.compress=true;
SET mapred.output.compression.codec=org.apache.hadoop.io.compress.GzipCodec;
INSERT OVERWRITE TABLE ...;