hive的文件存储格式

最新推荐文章于 2024-10-28 17:08:25 发布
原创 最新推荐文章于 2024-10-28 17:08:25 发布 · 298 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hive #big data

本文介绍了Hive中四种主要的存储格式：TEXTFILE、SEQUENCEFILE、ORC和PARQUET，并对比了行式存储与列式存储的特点。TEXTFILE和SEQUENCEFILE采用行式存储，适用于查询完整行数据的情况；而ORC和PARQUET为列式存储，适合于仅查询部分字段的场景，并且有更好的压缩效果。

Hive支持的存储数的格式主要有：TEXTFILE 、SEQUENCEFILE、ORC、PARQUET.

行式存储

特点:

查询满足条件的一整行数据的时候，列存储则需要去每个聚集的字段找到对应的每个列的值，行存储只需要找到其中一个值，其余的值都在相邻地方，所以此时行存储查询的速度更快。

列式存储

特点:

因为每个字段的数据聚集存储，在查询只需要少数几个字段的时候，能大大减少读取的数据量；每个字段的数据类型一定是相同的，列式存储可以针对性的设计更好的设计压缩算法。

常见格式的存储:

TEXTFILE和SEQUENCEFILE的存储格式都是基于行存储的； ORC和PARQUET是基于列式存储的。

ORC的存储最小,但兼容性较差.
PARQUET的压缩较小,兼容性好,常用.

fqcbb
关注
hive-02-hive文件存储格式
九师兄
09-07 983
hive在建表是，可以通过‘STORED AS FILE_FORMAT’ 指定存储文件格式 例如：> CREATE EXTERNAL TABLE MYTEST(num INT, name STRING) > ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' > STORED AS TEXTFILE > LOCATION '/data/test
Hive支持的文件存储格式（重点）
m0_51697147的博客
04-07 1213
一、Hive支持哪些文件存储格式？ Hive支持的文件储存格式主要有： ...
Hive文件存储格式
学苑新空
11-26 585
Hive 常用的数据存储格式及比较
HIVE 文件存储格式
IQuicksandI的专栏
01-23 1358
hive在建表是，可以通过‘STORED AS FILE_FORMAT’ 指定存储文件格式 例如： [plain] view plaincopy > CREATE EXTERNAL TABLE MYTEST(num INT, name STRING)  > ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'  > STORED A
hive文件存储格式
m0_61607827的博客
04-07 6518
在 HiveSQL 的 create table 语句中，可以使用 stored as ... 指定表的存储格式。Apache Hive 支持 Apache Hadoop 中使用的几种熟悉的文件格式，比如TextFile、SequenceFile、RCFile、 Avro、ORC、ParquetFile等。 列式存储和行式存储 TEXTFILE 和 SEQUENCEFILE 的存储格式都是基于行存储的，ORC 和 PARQUET 是基于列式存储的。 第一种：TextFile 1、存储方式：.
hive文件存储格式对比实验测试数据
08-25
hive测试数据，其中为日志类型，用于验证在hive中主流文件存储格式对比实验
Hive的数据存储格式
weixin_42771366的博客
10-28 1242
Hive存储格式 Hive建表格式
数仓工具hive(四)：Hive文件存储格式以及优缺点
weixin_41607366的博客
05-18 2068
前言 Hive支持的存储数的格式主要有：TEXTFILE 、SEQUENCEFILE、ORC、PARQUET。 行与列存储的特点 行存储的特点 查询满足条件的一整行数据的时候，列存储则需要去每个聚集的字段找到对应的每个列的值，行存储只需要找到其中一个值，其余的值都在相邻地方，所以此时行存储查询的速度更快。 列存储的特点 因为每个字段的数据聚集存储，在查询只需要少数几个字段的时候，能大大减少读取的数据量；每个字段的数据类型一定是相同的，列式存储可以针对性的设计更好的设计压缩算法。 Hive文件存储格式以及优缺
Hive文件存储格式和数据压缩
jim8973的博客
04-11 534
存储格式行存储和列存储 行存储可以理解为一条记录存储一行，通过条件查询一整行数据 列存储，以字段聚集存储，可以理解为相同的字段存储在一起 Hive文件存储格式 1、 TEXTFILE Hive数据表的默认格式，存储方式：行存储 可以使用Gzip压缩算法 在反序列化过程中，必须逐个字符判断是不是分隔符和行结束符，因此反序列化开销会比SequenceFile高几十倍 2、SEQUENCEFIL...
HIVE基础-文件存储格式
小猿天地
11-03 2488
对 HIVE 文件四种主要存储格式（textfile、sequencefile、orc、parquet）进行详细介绍
Hive笔记整理之——文件存储格式
itboyer的博客
08-29 590
Hive的文件存储格式 RCFile和ORCFile详解 RCFile 的设计和实现 ORC File 参考 Hive的文件存储格式 textfile textfile为默认格式 存储方式：行存储 磁盘开销大 数据解析开销大 压缩的text文件 hive无法进行合并和拆分 textfile 存储空间消耗比较大，并且压缩的text 无法分割和合并 查询的效率最低,可以直接存
Hive数据库系列--Hive文件格式/Hive存储格式/Hive压缩格式
weixin_49114503的博客
01-22 3478
Hive数据库系列--Hive文件格式/Hive存储格式/Hive压缩格式
Hive的常用三种文件存储格式详解
生存，生活，差之毫厘谬以千里也
06-05 980
转载：https://blog.youkuaiyun.com/qq_26442553/article/details/79313898 三者的存储格式的压缩对比和查询速度对比）: https://blog.youkuaiyun.com/qq_31807385/article/details/84796880
hive的几种存储格式
单色冰灵的博客
03-16 467
hive中的支持的存储格式和压缩格式
刘瑞东的专栏
03-01 2393
一、存储格式hive默认支持三种从存储格式，当然用户根据需要可以自定义存储格式。 存储格式 优点 缺点 SEQUENCEFILE 可压缩可分割二进制文件 需要一个合并文件的过程， 且合并后的文件将不方便查看 TEXTFILE 简单 方便查看 RCFILE 按列查找，理论上对于宽表采用这个比较好
hive中数据的存储格式
东城庞太师
02-07 455
hive默认的存储格式是：text file，还支持一些著名的列式存储格式：ORC PAQUET 注意：ORC、PARQUET格式无法通过load命令加载把text文件变出来，只能通过insert+select方法 把数据从其他表中查询出来 通过插入语句 在插入的过程中把格式变成ORC. ORC格式并不是纯粹的列式存储格式 仍然是首先根据行组（stripe 条纹）分割整个表，...
【Hive】hive表的文件存储格式
Just Do IT
06-26 3387
在Hive中，文件的存储格式主要有：TEXTFILE、SEQUENCEFILE、ORC、PARQUET。 其中，TEXTFILE、SEQUENCEFILE是基于行存储，ORC、PARQUET基于列存储。 实际生产环境，使用ORC和PARQUET的情况比较多。 1. 行存储和列存储 上图中左边为逻辑表，右上为行存储，右下为列存储。 当查询结果为一整行的时候，行存储效率会高一些；当查询表中某几列时，列存储的效率会更高。 在对数据的压缩方面，列存储比行存储更有优势，所以列存储占用空间相对小一些。 2. TEXT
hive文件存储方式
最新发布
08-12
### Hive 文件存储格式详解 Hive 支持多种文件存储格式，这些格式对数据的存储效率、查询性能以及与其他工具的兼容性都有显著影响。选择合适的存储格式应基于数据的特性、性能需求以及数据压缩要求等因素。 #### 文本文件格式（TextFile） 文本文件是最基本的存储格式，通常以 `.txt` 或 `.text` 形式存在。它以纯文本形式存储数据，每行一条记录，字段之间通过分隔符（如逗号、制表符等）进行分隔。这种格式易于查看和调试，但不支持高效的压缩和查询性能，适用于数据量较小或调试场景。 ```sql CREATE TABLE example_text ( id INT, name STRING ) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' STORED AS TEXTFILE; ``` #### SequenceFile 格式 SequenceFile 是 Hadoop 提供的一种二进制文件格式，支持高效的序列化和反序列化操作。它内部使用 Hadoop 的 Writable 接口进行数据处理，并与 MapFile 兼容。Hive 中的 SequenceFile 通常使用空 key，仅通过 value 存储实际数据，以避免 MapReduce 任务在 map 阶段的排序过程，从而提高写入性能[^2]。 ```sql CREATE TABLE example_sequence ( id INT, name STRING ) STORED AS SEQUENCEFILE; ``` #### RCFile 格式 RCFile（Row Columnar File）是一种列式存储格式，结合了行式和列式存储的优点。它将数据按行分组，每组内的数据以列式方式存储，适合处理宽表且需要访问部分列的场景。RCFile 在压缩率和查询性能方面优于 TextFile 和 SequenceFile。 ```sql CREATE TABLE example_rcfile ( id INT, name STRING ) STORED AS RCFILE; ``` #### ORCFile 格式 ORC（Optimized Row Columnar）文件格式是 Hive 中一种高效的列式存储格式，专为大数据处理优化。从 Hive 0.14 版本开始，ORC 支持 ACID 事务，包括对单条记录的更新和删除操作。ORC 文件具有高效的压缩率、快速的读取性能，并且支持复杂数据类型和索引功能[^3]。 ```sql CREATE TABLE example_orc ( id INT, name STRING ) STORED AS ORC; ``` #### Parquet 格式 Parquet 是一种开源的列式存储格式，支持多种数据处理框架（如 Hive、Spark、Presto 等）。Parquet 的列式存储结构使其在查询特定列时具有极高的性能，同时支持高效的压缩和编码技术。它非常适合大规模数据仓库和分析型查询场景。 ```sql CREATE TABLE example_parquet ( id INT, name STRING ) STORED AS PARQUET; ``` ### 存储方式与压缩 Hive 的存储格式可以结合压缩算法使用，以进一步提高存储效率和减少磁盘占用。常见的压缩算法包括 Gzip、Snappy、LZO 和 ZStandard 等。压缩可以在表创建时通过 `TBLPROPERTIES` 设置，也可以在 Hive 配置中全局启用。 ```sql CREATE TABLE example_orc_compressed ( id INT, name STRING ) STORED AS ORC TBLPROPERTIES ("orc.compress"="SNAPPY"); ``` ### 存储格式的选择建议 - **文本文件**：适用于数据导入导出、调试或小规模数据。 - **SequenceFile**：适合需要与 Hadoop 生态系统兼容的中间数据存储。 - **RCFile**：适用于需要列式存储但对事务支持要求不高的场景。 - **ORC**：适合需要高性能查询、事务支持和高效压缩的生产环境。 - **Parquet**：适用于跨平台数据共享、多引擎访问和复杂查询分析。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值