hive orc 和 parquet简单对比

ORC与Parquet：数据存储与压缩选择指南
最新推荐文章于 2025-09-27 10:30:00 发布
原创 最新推荐文章于 2025-09-27 10:30:00 发布 · 1.9k 阅读 · 4 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hive

本文探讨了Impala和PrestoDB对ORC和Parquet格式的推荐，比较了Snappy、LZO、Gzip和bzip2等压缩算法在ORC和Parquet中的应用，以及它们对Hive性能的影响。此外，还介绍了Parquet的跨语言兼容性和压缩选项。

  1. Impala推荐使用parquet格式，3.0版本之前 不支持ORC,Rcfile

  2. - Hive 0.x版本推荐使用rcfile

  3. - PrestoDB推荐使用ORC，orcFile因为元数据管理的原因对查询hive做了优化

  4. - Spark支持ORC,Parquet,Rcfile

Parquet与ORC对比

orc.compress:表示ORC文件的压缩类型，「可选的类型有NONE、ZLB和SNAPPY，默认值是ZLIB（Snappy不支持切片）

parquet. compression:默认值为 UNCOMPRESSED，表示页的压缩方式。「可以使用的压缩方式有 UNCOMPRESSED、 SNAPPY、GZP和LZO」

压缩

Snappy

Google开发的一种压缩编解码器, 用于实现高速压缩, 适当兼顾压缩率, 平衡了压缩速率和文件大小. 但是有一点, Snappy是不支持分片的, 所以它需要和容器格式相互联合使用(如SequenceFile和Avro).

LZO

压缩率和速度与Snappy相近, 由于许可协议的原因, LZO不能打包进hadoop中进行分发, 需要单独安装. Snapp

最低0.47元/天 解锁文章
1、通过亿级数据量在hive和impala中查询比较text、orc和parquet性能表现（一）
05-29
本文通过亿级数据量在Hive和Impala中对比了text、orc和parquet这三种不同的文件格式，以分析它们的性能表现。 首先，让我们深入了解每种文件格式的特点： 1. **Parquet**： - 优点：Parquet采用了高效的压缩和...
1、通过亿级数据量在hive和impala中查询比较text、orc和parquet性能表现（二）
05-29
本文主要探讨了在Hive和Impala中使用TextFile、ORC和Parquet三种不同数据格式的性能表现。Hadoop、Hive和Impala是大数据处理中的核心组件，而ORCFile和ParquetFile则是优化数据存储的常用格式。 首先，TextFile是最...
HIve之ORC与Parquet
二锅头的博客
06-25 3138
Orc与parquet的区别 表类型 默认压缩 压缩格式 描述 Orc Zlib Node、Zlib、Snappy Orc可以选择Zlib或Snappy压缩，Snappy需要额外安装 Parquet Uncompressed Uncompressed、Snappy、Gzip、Lzo Parquet使用gzip压缩率高，使用lzo、snappy效率高 ORC列式存储 但支持的压缩格式有限，Orc表支持None、Zlib、Snappy压缩，默认支持Zlib压缩。但这3种压缩格式不支持切
hive文件存储格式orc和parquet详解
a123op2346的博客
09-02 4667
hive orc parquet
《还在纠结 Hive 用 ORC 还是 Parquet？一文彻底搞懂》
最新发布
weixin_44519124的博客
09-27 681
ORC与Parquet是大数据领域两大主流存储格式，各有优势。ORC压缩率高（3:1~10:1），适合Hive查询优化的场景；Parquet跨平台兼容性好，支持复杂嵌套数据，在Spark等引擎中表现更优。数仓建设建议分层使用：ODS层用Parquet保证通用性，DW层用ORC提升压缩和查询性能，ADS层再用Parquet兼容下游分析。实际选型需结合存储压力、查询引擎和业务场景，混合使用效果最佳。
Hive ORC和Parquet
何成俭的博客
03-28 3998
相比传统数据库的行式存储引擎，列式存储引擎具有更高的压缩比，更少的IO操作，尤其是在数据列很多，但每次操作仅针对若干列进行查询和计算的情景，列式存储引擎的性价比更高。 目前在开源实现中，最有名的列式存储引擎莫过于Parquet和ORC，并且他们都是Apache的顶级项目，在数据存储引擎方面发挥着重要的作用。 本文将重点讲解ORC文件存储格式，Parquet暂不深入说明，后续抽时间整理。
hive文件存储格式orc和parquet详解_orc文件
2401_84182073的博客
04-11 3195
既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上大数据开发知识点，真正体系化！
ORC和Parquet的一些简单对比
zhangs_123的博客
04-02 4241
目录一、简介1.1 ORC二、测试环境说明2.1.集群环境2.2 测试数据2.2.1 TPC-H使用1）tpch下载2）解压3)配置4）生成执行命令，生成dbgen2.2.2 建表、sql和数据准备1）建表语句见附件，分别建Textfile、ORC、Parquet表2）导入数据3）查询语句见附件三、Impala查询ORC和Parquet对比四、ORC和Parquet的压缩效率对比五、ORC和Parquet的简单查询效率对比六、总结 一、简介 目前我们Hive数仓建表存储格式主要是Parquet+默认压缩，因
Hive orc与parquet的区别 orc如何支持事物
Top5软件工程硕士，先后在京东、字节从事多年Java后端开发、实时和离线大数据开发
08-26 1525
区别： 1 orc的数据存储的文件更小。 2 orc支持事物（ACID和delete/update操作，当然还需要满足其他条件才行。）parquet不支持增删改。 ---------------------------------------------------------- 因为业务要求，需要对Hive表进行delete，在官网查询后，发现update和delete是一类问题。在此总结下如何实现Hive表的delete和update。 首先，先看下官网关于update和delete的相关说明
hive 文件格式（列式存储-parquet&orc）
data_man_online的博客
07-31 1513
传统的行式数据库，数据按行存储，在没有使用索引的情况下，如果要查询一个字段，需要将整行的数据查找出来，再找到相应的字段，这样的操作是比较消耗I/O资源的。但是如果需要读取所有的列，例如一个数据平台刚接入数据，需要对所有的字段进行校验过滤，在这种场景下列式存储需要花费比行式存储更多的资源，因为行式存储读取一条数据只需要一次I/O操作，而列式存储则需要花费多次，列数越多消耗的I/O资源越多。如果要读取某个列的数据，则可以在读取行组的基础上，读取指定的列，而不需要读取行组内所有行的数据及一行内所有字段的数据。..
hive--ORC、Parquet等列式存储的优点
qq_46893497的博客
03-07 3152
ORC、Parquet等列式存储的优点前言Parquet：ORC： 前言 ORC和Parquet都是高性能的存储方式，这两种存储格式总会带来存储和性能上的提升。 Parquet： 1）Parquet支持嵌套的数据模型，类似于Protocol Buffers，每一个数据模型的schema包含多个字段，每一个字段有三个属性：重复次数、数据类型和字段名，重复次数可以是以下三种：required(只出现1次)，repeated(出现0次或多次)，optional(出现0次或1次)。每一个字段的数据类型可以分
《一文搞懂 Hive 不同存储格式及性能对比：ORC、Parquet、Avro、Text》
weixin_44519124的博客
08-19 1755
TextFile是 Hive 默认的存储格式，数据以纯文本形式存储，每行代表一条记录，字段之间通过分隔符（如\t等）分隔。是Hadoop 原生的二进制键值对（Key-Value）存储格式，由 Hadoop 提供，常用于MapReduce 的中间数据存储，可以显著减少 I/O 开销。数据以形式按顺序存储，并且支持压缩（Record 压缩和 Block 压缩）。是Hadoop 原生的二进制键值对（Key-Value）存储格式，由 Hadoop 提供，常用于MapReduce 的中间数据存储。
Hive 的 ORC、Parquet 等列式存储的优点
想练武，就得下功夫
08-12 835
ORC: ORC 文件是自描述的，它的元数据使用 Protocol Buffers 序列化，文件中的数据尽可能的压缩以降低存储空间的消耗；以二进制方式存储，不可以直接读取；自解析，包含许多元数据，这些元数据都是同构 ProtoBuffer 进行序列化的；会尽可能合并多个离散的区间尽可能的减少 I/O次数；在新版本的 ORC 中也加入了对 Bloom Filter 的支持，它可以进一 步提升谓词下推的效率，在 Hive 1.2.0 版本以后也加入了对此的支 持。 Parquet: Parquet 支持嵌套的数
Hive文件存储格式（TEXTFILE 、ORC、PARQUET三者的存储格式的压缩对比和查询速度对比）
热门推荐
isea_you's blog
12-06 2万+
综述： HIve的文件存储格式有四种：TEXTFILE、SEQUENCEFILE、ORC、PARQUET，前面两种是行式存储，后面两种是列式存储；所谓的存储格式就是在Hive建表的时候指定的将表中的数据按照什么样子的存储方式，如果指定了A方式，那么在向表中插入数据的时候，将会使用该方式向HDFS中添加相应的数据类型。 如果为textfile的文件格式，直接load就OK，不需要走MapRed......
hive文件存储格式orc和parquet详解_orc文件，2024年最新阿里开发7年大牛
2401_84164672的博客
04-08 1653
正体系化！**
hive入门们学习：orcFile和parquet存储格式简介
HAHA的专栏
02-17 6980
hive入门们学习：orcFile和parquet存储格式简介                  hive的的表格的存储格式默认情况下是textfile格式的，textfile格式的数据是按照行存储数据。但是在这里介绍的两种企业最常用的数据存储格式orcfile和parquet存储格式，这两种存储格式是根据我们的业务需求--经常需要按照对一列的数据进行存取和处理，例如，机器学习中我们抽样
文件存储格式：ORC 与 Parquet的较量
悦上心灵的博客
06-16 4138
文件存储格式：ORC 与 Parquet的较量
ORC和Parquet同为列存储，他们有什么先天的区别
主要写大数据集群一线运维和学习工作经验
03-31 1663
优先ORC：若使用Hive且需要事务支持，或数据重复率高、追求极致压缩。优先Parquet：若处理嵌套数据、跨平台（如Spark、数据湖），或需灵活压缩算法。两者的差异源于设计目标的根本不同：ORC偏向Hive生态的深度优化，Parquet则追求通用性与复杂数据兼容性。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值