Hive 文件压缩存储格式(STORED AS)

本文介绍了Hive的三种文件存储格式:TEXTFILE(默认且可配合压缩)、SEQUENCEFILE(二进制、可分割、可压缩)和RCFILE(行列存储结合、利于压缩和列存取)。详细阐述了每种格式的特点和使用场景,强调RCFILE在数据仓库中的优势。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

Hive文件存储格式包括以下几类:

1.TEXTFILE 
2.SEQUENCEFILE 
3.RCFILE 
4.自定义格式 


其中TEXTFILE为默认格式,建表时不指定,默认为这个格式,导入数据时会直接把数据文件拷贝到hdfs上不进行处理。
SequenceFile,RCFile格式的表不能直接从本地文件导入数据,数据要先导入到textfile格式的表中,然后再从textfile表中用insert导入到SequenceFile,RCFile表中。

TEXTFILE
默认格式,数据不做压缩,磁盘开销大,数据解析开销大。可结合Gzip、Bzip2使用(系统自动检查,执行查询时自动解压), 但使用这种方式,hive不会对数据进行切分,从而无法对数据进行并行操作。

> create table test1(str STRING)  
> STORED AS TEXTFILE;
OK  
Time taken: 0.786 seconds  
#写脚本生成一个随机字符串文件,导入文件:  
> LOAD DATA
### Hive 文件存储格式详解 Hive 支持多种文件存储格式,这些格式对数据的存储效率、查询性能以及与其他工具的兼容性都有显著影响。选择合适的存储格式应基于数据的特性、性能需求以及数据压缩要求等因素。 #### 文本文件格式(TextFile) 文本文件是最基本的存储格式,通常以 `.txt` 或 `.text` 形式存在。它以纯文本形式存储数据,每行一条记录,字段之间通过分隔符(如逗号、制表符等)进行分隔。这种格式易于查看和调试,但不支持高效的压缩和查询性能,适用于数据量较小或调试场景。 ```sql CREATE TABLE example_text ( id INT, name STRING ) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' STORED AS TEXTFILE; ``` #### SequenceFile 格式 SequenceFile 是 Hadoop 提供的一种二进制文件格式,支持高效的序列化和反序列化操作。它内部使用 Hadoop 的 Writable 接口进行数据处理,并与 MapFile 兼容。Hive 中的 SequenceFile 通常使用空 key,仅通过 value 存储实际数据,以避免 MapReduce 任务在 map 阶段的排序过程,从而提高写入性能[^2]。 ```sql CREATE TABLE example_sequence ( id INT, name STRING ) STORED AS SEQUENCEFILE; ``` #### RCFile 格式 RCFile(Row Columnar File)是一种列式存储格式,结合了行式和列式存储的优点。它将数据按行分组,每组内的数据以列式方式存储,适合处理宽表且需要访问部分列的场景。RCFile 在压缩率和查询性能方面优于 TextFile 和 SequenceFile。 ```sql CREATE TABLE example_rcfile ( id INT, name STRING ) STORED AS RCFILE; ``` #### ORCFile 格式 ORC(Optimized Row Columnar)文件格式Hive 中一种高效的列式存储格式,专为大数据处理优化。从 Hive 0.14 版本开始,ORC 支持 ACID 事务,包括对单条记录的更新和删除操作。ORC 文件具有高效的压缩率、快速的读取性能,并且支持复杂数据类型和索引功能[^3]。 ```sql CREATE TABLE example_orc ( id INT, name STRING ) STORED AS ORC; ``` #### Parquet 格式 Parquet 是一种开源的列式存储格式,支持多种数据处理框架(如 Hive、Spark、Presto 等)。Parquet 的列式存储结构使其在查询特定列时具有极高的性能,同时支持高效的压缩和编码技术。它非常适合大规模数据仓库和分析型查询场景。 ```sql CREATE TABLE example_parquet ( id INT, name STRING ) STORED AS PARQUET; ``` ### 存储方式与压缩 Hive存储格式可以结合压缩算法使用,以进一步提高存储效率和减少磁盘占用。常见的压缩算法包括 Gzip、Snappy、LZO 和 ZStandard 等。压缩可以在表创建时通过 `TBLPROPERTIES` 设置,也可以在 Hive 配置中全局启用。 ```sql CREATE TABLE example_orc_compressed ( id INT, name STRING ) STORED AS ORC TBLPROPERTIES ("orc.compress"="SNAPPY"); ``` ### 存储格式的选择建议 - **文本文件**:适用于数据导入导出、调试或小规模数据。 - **SequenceFile**:适合需要与 Hadoop 生态系统兼容的中间数据存储。 - **RCFile**:适用于需要列式存储但对事务支持要求不高的场景。 - **ORC**:适合需要高性能查询、事务支持和高效压缩的生产环境。 - **Parquet**:适用于跨平台数据共享、多引擎访问和复杂查询分析。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值