Hive存储格式对比

最新推荐文章于 2025-05-27 09:45:30 发布
转载 最新推荐文章于 2025-05-27 09:45:30 发布 · 6.7k 阅读 · 12
文章标签：

#HIve #存储格式 #Parquet #ORC

本文详细介绍了Apache Hive中支持的多种文件存储格式，包括TextFile、SequenceFile、RCFile、AVRO、ORC和Parquet格式的特点及适用场景。对比不同格式在存储空间、查询效率和压缩方式上的差异。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Apache Hive支持Apache Hadoop中使用的几种熟悉的文件格式，如 TextFile，RCFile，SequenceFile，AVRO，ORC和Parquet 格式。Cloudera Impala也支持这些文件格式。 在建表时使用 STORED AS ( TextFile|RCFile|SequenceFile|AVRO|ORC|Parquet ) 来指定存储格式 。
TextFile 每一行都是一条记录，每行都以换行符（\ n）结尾。 数据不做压缩，磁盘开销大，数据解析开销大。可结合Gzip、Bzip2使用（系统自动检查，执行查询时自动解压），但使用这种方式，hive不会对数据进行切分，从而无法对数据进行并行操作。
SequenceFile 是Hadoop API提供的一种二进制文件支持，其具有使用方便、可分割、可压缩的特点。支持三种压缩选择：NONE, RECORD, BLOCK。 Record压缩率低，一般建议使用BLOCK压缩。
RCFile 是一种行列存储相结合的存储方式。首先，其将数据按行分块，保证同一个record在一个块上，避免读一个记录需要读取多个block。其次，块数据列式存储，有利于数据压缩和快速的列存取。
AVRO 是开源项目，为Hadoop提供数据序列化和数据交换服务。您可以在Hadoop生态系统和以任何编程语言编写的程序之间交换数据。Avro是基于大数据Hadoop的应用程序中流行的文件格式之一。
ORC文件 代表了优化排柱状的文件格式。ORC文件格式提供了一种将数据存储在Hive表中的高效方法。这个文件系统实际上是为了克服其他Hive文件格式的限制而设计的。Hive从大型表读取，写入和处理数据时，使用ORC文件可以提高性能。

Parquet是一个面向列的二进制文件格式。Parquet对于大型查询的类型是高效的。对于扫描特定表格中的特定列的查询，Parquet特别有用。Parquet桌子使用压缩Snappy，gzip;目前Snappy默认。

存储格式对比
存储格式存储方式特点
TextFile行存储存储空间消耗比较大，并且压缩的text 无法分割和合并 查询的效率最低,可以直接存储，加载数据的速度最高
SequenceFile行存储存储空间消耗最大,压缩的文件可以分割和合并 查询效率高，需要通过text文件转化来加载
RCFile数据按行分块 每块按照列存储
存储空间最小，
查询的效率最高 ，
需要通过text文件转化来加载，
加载的速度最低。
压缩快 快速列存取。
读记录尽量涉及到的block最少 
读取需要的列只需要读取每个row group 的头部定义。 
读取全量数据的操作 性能可能比sequencefile没有明显的优势
ORCFile数据按行分块 每块按照列存储压缩快,快速列存取 ,效率比rcfile高,是rcfile的改良版本
Parquet列存储相对于PRC，Parquet压缩比较低，查询效率较低，不支持update、insert和ACID.但是Parquet支持Impala查询引擎

Parquet与ORC对比
 
Parquet
http://parquet.apache.org
Orc
http://orc.apache.org
发展状态目前都是Apache开源的顶级项目，列式存储引擎目前都是Apache开源的顶级项目，列式存储引擎
开发语言JavaJava
主导公司Twitter/ClouderaHortonworks
 ACID
不支持支持ACID事务
修改操作(update,delete)不支持支持
支持索引 (统计信息)
粗粒度索引
block/group/chunk级别统计信息
粗粒度索引
file/stripe/row级别统计信息，
不能精确到列建立索引
支持的查询引擎Apache Drill、ImpalaApache Hive
查询性能Orc性能更高一点Orc性能更高一点
压缩比Orc压缩比更高(见下图)Orc压缩比更高(见下图)
列编码支持多种编码，字典，RLE，Delta等支持主流编码，与Parquet类似

总结：如果仅仅是在HIve中存储和查询，建议使用ORC格式，如果在Hive中存储，而使用Impala查询，建议使用Parquet。
参考资料：

Hive之文件格式
ly13607255628的博客
10-10 1247
Hive支持的存储数的格式主要有：TEXTFILE（默认格式） 、SEQUENCEFILE、RCFILE、ORCFILE、PARQUET。 textfile为默认格式，建表时没有指定文件格式，则使用TEXTFILE，导入数据时会直接把数据文件拷贝到hdfs上不进行处理； sequencefile，rcfile，orcfile格式的表不能直接从本地文件导入数据，数据要先导入到textfile格式的表中， 然后再从表中用insert导入sequencefile、rcfile、orcfile表中。 行存储与列
数据库领域Hive的存储格式选择与性能对比
2502_91592937的博客
05-07 989
在大数据处理中，Hive作为一个数据仓库基础设施，为数据的存储和查询提供了方便的接口。不同的存储格式会对Hive的数据处理性能产生显著影响。本文的目的是全面分析Hive中常见的存储格式，比较它们在读写性能、存储空间占用等方面的差异，为开发者和数据分析师在选择合适的存储格式时提供参考。范围涵盖了Hive中几种主流的存储格式，如TextFile、ORC、Parquet等。本文首先介绍Hive存储格式的相关背景知识，包括核心概念和联系；
hive 的几种存储格式
热门推荐
jinfeiteng2008的专栏
02-23 1万+
Hive文件存储格式 1.textfile textfile为默认格式 存储方式：行存储 磁盘开销大 数据解析开销大 压缩的text文件 hive无法进行合并和拆分 2.sequencefile 二进制文件,以的形式序列化到文件中 存储方式：行存储 可分割 压缩 一般选择block压缩 优势是文件和Hadoop api中的mapfile是相互兼容的。 3.rcf
大数据学习（123）-hive压缩与存储方式
最新发布
weixin_61006262的博客
05-27 356
🍋🍋🍋🍋Hive 作为大数据领域常用的数据仓库工具，其压缩与存储方式的选择对存储成本、查询性能有直接影响。Hive 支持多种压缩算法，通过减少数据体积优化存储和传输效率。
Hive文件存储格式（TEXTFILE 、ORC、PARQUET三者的对比）
07-15 8957
Hive文件存储格式（TEXTFILE 、ORC、PARQUET三者的对比） 综述： HIve的文件存储格式有四种：TEXTFILE、SEQUENCEFILE、ORC、PARQUET，前面两种是行式存储，后面两种是列式存储；所谓的存储格式就是在Hive建表的时候指定的将表中的数据按照什么样子的存储方式，如果指定了A方式，那么在向表中插入数据的时候，将会使用该方式向HDFS中添加相应的数据类型。 如果为textfile的文件格式，直接load就OK，不需要走MapReduce；如果是其他的类型就需要走Ma.
hive的数据存储格式
王傲旗的大数据之路
11-30 5047
Hive支持的存储数据的格式主要有：TEXTFILE（行式存储） 、SEQUENCEFILE(行式存储)、ORC（列式存储）、PARQUET（列式存储）。 列式存储和行式存储 上图左边为逻辑表，右边第一个为行式存储，第二个为列式存储。 行存储的特点： 查询满足条件的一整行数据的时候，==行存储只需要找到其中一个值，其余的值都在相邻地方。==列存储则需要去每个聚集的字段找到对应的每个列的值，...
hive中数据的存储格式
东城庞太师
02-07 440
hive默认的存储格式是：text file，还支持一些著名的列式存储格式：ORC PAQUET 注意：ORC、PARQUET格式无法通过load命令加载把text文件变出来，只能通过insert+select方法 把数据从其他表中查询出来 通过插入语句 在插入的过程中把格式变成ORC. ORC格式并不是纯粹的列式存储格式 仍然是首先根据行组（stripe 条纹）分割整个表，...
hive文件存储格式对比实验测试数据
08-25
hive测试数据，其中为日志类型，用于验证在hive中主流文件存储格式对比实验
Hive的数据存储格式
weixin_42771366的博客
10-28 1126
Hive存储格式 Hive建表格式
Hive数据存储格式
凉茶铺的博客
10-16 3996
Hive支持的存储数的格式主要有：TEXTFILE（默认格式） 、SEQUENCEFILE、RCFILE、ORCFILE、PARQUET。
Hive存储格式的坑~
阿尼古
03-26 2953
首先介绍一下我遇到的坑 今天平台巡检过程中，发现了同步任务报错，出现脏数据的问题，后来定位到是因为数据为空值，导致脏数据的问题，那么问题来了，怎么会出现空值呢？ 寻求根源，表的数据是从哪里来的，数据格式是怎样的呢？ SQL任务 CREATE TABLE IF NOT EXISTS xxxx ( stat_date STRING COMMENT...
hive的几种存储格式
单色冰灵的博客
03-16 447
hive的数据文件存储格式
lds_include
03-25 760
hive的数据文件存储格式 类型 texfile：默认的存储格式：普通的文本文件，数据不压缩，磁盘的开销比较大，分析开销大。 sequencefile：提供的一种二进制存储格式，可以切割，天生压缩。 rcfile：提供的是一种行列混合存储方式，该方式会把相近的行和列数据放在一块儿，存储比较耗时，查询效率高，也天生压缩。 orc：是rcfile的一种优化存储。 parquet：自定义输入输出格式。...
Hive 六种存储格式
星辰大数据的博客
03-02 1652
Hive六种存储格式： AVRO、ORC、PARQUET、RCFILE、SEQUENCEFILE、TEXTFFILE （avro、orc、parquet、rcfile、sequencefile、textfile） 简写语法 标准语法 STORED AS AVRO / STORED AS AVROFILE ROW ...
Hive 存储格式
Yrz7746321的博客
08-05 1391
Hive 存储格式 说明 2019-05-14 00:266400转载Hive Hive 支持多种存储格式，本文我们将了解这些格式的概念。 1、文本文件格式 文件文件（TEXTFILE）格式是Hive中默认的存储格式，在创建Hive 表时如果不指定存储格式即为文本文件。文本文件中每一行数据就是一条记录，可以用任意的分隔符进行分割，也方便和其他的工具进行数据共享、查看和编辑，比如sed，awk等。但相对于二进制文件，文本文件存储的空间较大。 TEXTFILE的数据不做压缩，磁盘开销大，数据解析开销大。
Hive 文件存储格式
m0_57479841的博客
12-06 1090
方便HDFS进行读取更加高效，HDFS的block块设置为256MB，256MB就会对应一个切片，就对应一个map task线程进行处理，一个线程就可以把一个stripe里面的数据进行读取。这种文件格式可以提供一种高效的方法存储Hive数据，其设计目标是用于克服Hive其他格式的缺陷，运用ORC File可以提高Hive的读、写、及处理数据的性能。: 按行存储，不支持块压缩，默认格式，不支持压缩，磁盘开销大，加载数据的速度最高。(包含键值对的二进制的文件存储格式，支持压缩，可以节省存储空间)
Hive-存储-文件格式
lu070828的博客
06-27 1643
数据存储是Hive的基础，选择合适的底层数据存储格式，可以在不改变Hql的前提下得到大的性能提升。类似mysql选择适合场景的存储引擎。Hive支持的存储格式有其中，ORCFile和Apache Parquet，以其高效的数据存储和数据处理性能得以在实际的生产环境中大量运用。创建表时可以使用说明Serializer/Deserializer 序列化和反序列化的类型。
快速理解Hive的数据存储格式及mapreduce底层原理
孙大迪迪的博客
01-18 2665
在大数据工程师面试时，下面这个题可谓是面试官的最爱，他考察了对于mapreduce框架以及hive的原理的理解，阅读完这篇文章，在面试这一类的问题时，就会胸有撑住了！ 在创建hive表时，会有这样一句：STORED AS TEXTFILE，这一句的作用，其实是 STORED AS INPUTFORMAT 'org.apache.hadoop.mapred.TextInputFormat' O...
hive的存储格式
03-21
<think>嗯，用户想了解Hive支持的存储格式以及如何选择合适的。首先我需要回忆Hive常见的存储格式有哪些。记得有TextFile、SequenceFile、RCFile、ORCFile、Parquet这些。然后每个格式的特点和适用场景需要理清楚。 比如TextFile是最基础的，纯文本，适合导入导出方便，但性能可能差。SequenceFile是二进制，支持压缩和分割，可能适合中间数据存储。RCFile是行列混合，而ORC和Parquet是更高效的行列式存储，适合查询性能要求高的场景。 然后用户可能关心如何选择，比如需要考虑压缩、查询速度、是否频繁更新、是否与外部系统交互等因素。比如ORC和Parquet在分析查询时表现好，但如果需要和Sqoop交互的话可能得用TextFile，像引用4提到的。 还要注意引用里的信息，比如引用2提到ORC和Parquet实际应用多，引用4提到Sqoop需要TextFile。所以回答里要结合这些引用，给出格式列表和使用建议，最后生成相关问题。需要确保LaTeX格式正确，行内用$，独立公式用$$，但问题里可能数学公式不多。可能涉及压缩类型如Snappy、Gzip，这些在引用1里提到，所以需要关联到存储格式的选择中。</think>### Hive支持的存储格式及使用场景 Hive支持多种存储格式，每种格式针对不同场景优化。以下是主要格式的特点和应用建议： #### 一、存储格式列表 1. **文本格式（TextFile）** - **特点**：默认格式，纯文本存储（如CSV、TSV），可读性强，但无压缩且查询效率低 - **适用场景**： - 数据导入/导出需求频繁的场景（如与Sqoop交互时需使用TextFile[^4]） - 临时数据或小规模数据集 - **示例建表语句**： ```sql CREATE TABLE logs (id INT, content STRING) STORED AS TEXTFILE; ``` 2. **二进制序列化文件（SequenceFile）** - **特点**：二进制键值对存储，支持压缩和分片，适合Hadoop生态链交互 - **适用场景**： - MapReduce作业中间结果存储 - 需兼容Hadoop其他组件的场景 3. **行列式文件（RCFile）** - **特点**：行组内列式存储，压缩比高于TextFile，但性能弱于ORC/Parquet - **适用场景**： - 历史遗留系统兼容 - 需平衡存储与查询的场景（逐渐被ORC/Parquet替代） 4. **优化的行列式文件（ORCFile）** - **特点**： - 列式存储，支持高压缩比（如Zlib、Snappy[^1]） - 内置索引（如布隆过滤器）加速查询 - 支持ACID事务 - **适用场景**： - 大规模数据分析（如数仓核心表） - 高并发查询场景[^2] - **示例建表语句**： ```sql CREATE TABLE user_behavior (user_id STRING, action STRING) STORED AS ORC; ``` 5. **Apache Parquet** - **特点**： - 列式存储，支持嵌套数据结构 - 高效压缩（兼容Snappy、Gzip[^1]） - 适合Spark等生态工具 - **适用场景**： - 复杂嵌套结构数据处理（如JSON日志） - 跨计算引擎协作场景（如Hive+Spark） #### 二、选择依据 $$ \text{选择公式} = \max \left( \frac{\text{查询性能} \times \text{压缩比}}{\text{写入成本} + \text{兼容性约束}} \right) $$ 1. **优先ORC/Parquet**：99%的生产场景首选，例如： - ORC适合Hive专属高频分析 - Parquet适合跨平台数据湖 2. **强制使用TextFile**： - 与Sqoop交互时[^4] - 数据需直接人工查看 3. **特殊需求**： - 频繁更新数据 → 使用ORC（支持ACID） - 极致压缩 → ORC+Zlib压缩 #### 三、性能对比 | 格式 | 压缩比 | 查询速度 | 写入速度 | 适用操作类型 | |------------|--------|----------|----------|--------------------| | TextFile | 低 | 慢 | 快 | 全表扫描 | | ORC | 高 | 快 | 中 | 列裁剪/聚合 | | Parquet | 高 | 快 | 中 | 嵌套查询/跨平台 |
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值