hive的文件格式-RCfile

本文介绍了RCFile(Record Columnar File)存储结构的设计理念及特点,RCFile兼具行存储和列存储的优势,既能保证元组重构的低开销,又能实现高效的列维度数据压缩。在实际应用中,RCFile被广泛应用于Hive中,通过压缩可以达到12倍的压缩比,非常适合字段较多的场景。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

Facebook数据仓库揭秘说到,

RCFile(Record Columnar File)存储结构遵循的是“先水平划分,再垂直划分”的设计理念,它结合了行存储和列存储的优点:首先,RCFile保证同一行的数据位于同一节点,因此元组重构的开销很低;其次,像列存储一样,RCFile能够利用列维度的数据压缩,并且能跳过不必要的列读取


RCfile是HIVE的列式存储,压缩通常会非常高效,公司这边,可以达到12倍的压缩比,字段特别多的非常适用。

hive的代码提供了源码

cd $HIVE_HOME
$ find . -name "RCFile*"
./src/cli/src/java/org/apache/hadoop/hive/cli/RCFileCat.java


hive提供了一个rcfilecat工具来展示RCFile文件内容:

hive --service rcfilecat /xxxxxxxxxxxxxxxxxxxxxxxxxxx/000000_0



### Hive 支持的文件格式 Hive 是一种基于 Hadoop 的数据仓库工具,它支持多种文件存储格式来满足不同场景下的需求。以下是常见的 Hive 文件存储格式及其特点: #### 1. **TEXTFILE** 这是 Hive 默认的文件存储格式[^2]。当创建表时不指定任何存储格式时,默认使用 TEXTFILE 格式。这种格式的特点是没有压缩功能,因此磁盘占用较大,数据解析成本也较高[^5]。不过,它可以与其他压缩算法(如 Gzip、Bzip2 和 Snappy)结合使用以减少存储空间。 #### 2. **SEQUENCEFILE** 这是一种二进制文件格式,采用键值对的方式存储数据[^3]。与 TEXTFILE 不同的是,SEQUENCEFILE 自带压缩功能,并且可以设置为块级压缩或记录级压缩。由于其二进制特性,SEQUENCEFILE 文件的内容无法直接查看,必须通过程序读取[^3]。 #### 3. **RCFILE (Row Columnar File)** RCFILE 是一种专为大数据分析设计的混合存储格式,兼具行存储和列存储的优点[^4]。它的主要特点是能够实现高效的 I/O 操作以及良好的压缩性能。然而,RCFILE 表的数据导入过程较为复杂,通常需要先将数据加载到 TEXTFILE 表中再转换为目标 RCFILE 表[^4]。 #### 4. **ORC (Optimized Row Columnar)** ORC 是一种高度优化的列式存储格式,特别适合大规模数据分析任务[^1]。相比其他格式,ORC 提供了更高的压缩率和更快的查询速度。此外,ORC 还内置了一些高级特性,比如跳过不必要的数据块扫描等[^1]。 #### 5. **PARQUET** 类似于 ORC,PARQUET 同样是一种高效能的列式存储格式[^1]。它广泛应用于各种分布式计算框架之中,具备优秀的压缩能力和兼容性。在实际应用中,PARQUET 常被推荐作为 Hive 数据库的主要存储方案之一。 总结来说,除了上述五种主流格式外,还有可能遇到其他的自定义或者第三方插件支持的新颖形式。但在日常开发过程中,最常使用的仍然是 `TEXTFILE`、`SEQUENCEFILE`、`ORC` 及 `PARQUET` 几类[^2]。 ```sql CREATE TABLE example_table ( id INT, name STRING ) STORED AS PARQUET; ``` 以上是一个简单的 SQL 创建语句示例,展示了如何显式声明所选存储格式为 PARQUET。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值