Hadoop-No.4之列式存储格式

最新推荐文章于 2024-06-03 10:52:11 发布
原创 最新推荐文章于 2024-06-03 10:52:11 发布 · 1k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#存储 #数据仓库 #Hadoop #列式存储

本文对比了RCFile、ORC及Parquet等列式存储格式的特点与优势，并探讨了它们在数据仓库应用中的表现，特别是在处理大规模数据集时的聚合操作效率。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

列式系统可提供的优势

  • 对于查询内容之外的列,不必执行I/O和解压(若适用)操作
  • 非常适合仅访问小部分列的查询.如果访问的列很多,则行存格式更为合适
  • 相比由多行构成的数据块,列内的信息熵更低,所以从压缩角度来看,列式存储通常会非常高效.换句话说,同一列中的数据比行存数据块中的数据更为相似.当某一列的取值不多是,行存与列存在压缩效果上的差异尤为显著
  • 数据仓库类型的应用需要在极大的数据集上对某些特定的列进行聚合操作,而列式存储格式通常很适合此类应用场景

显然,列式文件格式也常常出现在Hadoop的应用中.Hadoop支持的列式格式包括一度广泛应用为Hive格式的RPFile,以及其他格式,如ORC(Optimized Row Columnar),以及Parquet等.

RCFile

RCFile专为高效处理MapReduce应用程序而开发,尽管在时间过程中,它一般只作为Hive存储格式使用.RCFile的开发旨在快速加载和查询数据,以及更高效的利用存储空间.RCFile格式将文件按行进行分片,每个分片按列存储.

与SequenceFile相比,RCFile格式在查询与压缩性能方面有很多优势.但这种格式也存在一些缺陷,会阻碍查询时间和压缩空间的进一步优化.这些问题很多都可以由更为新型的列式存储格式(比如ORC与Parquet)化解.大部分不断涌现的应用很有可能放弃使用RCFile,改用新型的列存格式.不过,RCFile目前仍然是Hive中常用的存储格式.

ORC

ORC格式的开发初中是为了弥补RCFile格式方面的一些不足,尤其是查询性能和存储效率方面的缺陷.相比RCFile,ORC格式在很多方面都有显著进步,其特点和优势如下.

  • 通过特定类型(type-specific)的reader与writer提供轻量级的,在线的(always-on)压缩.ORC还支持使用zlib,LZO和Snappy压缩算法提供进一步的压缩
  • 能够将谓词下推至存储层,仅返回查询所需要的数据
  • 支持Hive类型的模型,包括新增的decimal类型与复杂类型.
  • 支持分片

Parquet

Parquet和ORC有很多相同的设计目标,但是Parquet有意成为Hadoop上的通用存储格式.Parquet的目标是成为能够普遍应用于不同MapReduce接口(如Java,Hive与Pig)的格式,同事也要适应其他处理引擎(如Impala与Spark).Parquet的优势如下,其中很多优势与ORC相同

  • 与ORC文件类似,Parquet允许金返回需要的数据字段,因此减少了I/O,提升了性能
  • 提供高效的压缩,可以在每列上指定压缩算法
  • 设计的初衷便是支持复杂的嵌套数据结构
  • 在文件尾部有完整的元数据信息存储,所以Parquet文件是自描述的
  • 完全支持通过Avro和Thrift API写入与读取
  • 使用可扩展的高效编码模式,比如 按位封装(bit-packaging)和游程编码(Run Length Encoding,RLE)

不同文件格式的失败行为

不同文件格式之间一个重要的差异在于如何处理数据错误,某些格式可以更好的处理文件损坏.

  • 列式格式虽然高效,但是在错误处理方面表现并不是很好,这是因为文件损毁可能导致行不完全.
  • 序列化格式在第一个出错的行之前能够正常读取,但是在随后的行中无法恢复
  • Avro的错误处理能力最强,出现错误记录时,读操作将在下一个同步点(syncpoint)继续,所以错误只会影响文件的一部分
大数据必懂知识点：Parquet、ORC还是Avro作为数据存储格式，哪种在性能和压缩率上更优
大模型大数据攻城狮的专栏
10-02 961
Parquet，作为Hadoop生态系统中的一种新型列式存储格式，由Cloudera和Twitter公司联手开发，并已跻身至Apache软件基金会的顶级项目之列。自其诞生以来，便以高效的压缩和编码方式，以及卓越的跨平台支持性，在大数据处理领域崭露头角，展现出不可忽视的优势。这种格式的设计初衷是为了应对大数据场景下存储和查询性能的挑战，通过列式存储和高效压缩等技术手段，显著提升数据处理的效率和响应速度。
Hadoop3 - MapReduce ORC 列式存储
小毕超博客
11-04 1184
在大数据场景下，核心便是 OLAP，对于这种场景下，如果是行式存储，一个典型的查询需要遍历整个表，进行分组、排序、聚合等操作，而一般情况下仅仅对其中某些感兴趣的列做运算，那一行中那些无关的列也不得不参与扫描。ORC文件中保存了三个层级的统计信息，分别为文件级别、stripe级别和row group级别的，他们都可以用来根据 Search ARGuments（谓词下推条件）判断是否可以跳过某些数据，在统计信息中都包含成员数和是否有null值，并且对于不同类型的数据设置一些特定的统计信息。
Hadoop 列式存储引擎
Mike han
12-01 1718
相比传统的行式存储引擎，列式存储引擎具有更高的压缩比，更少的IO操作而备受青睐（注：列式存储不是万能高效的，很多场景下行式存储仍更加高效），尤其是在数据列（column）数很多，但每次操作仅针对若干列的情景，列式存储引擎的性价比更高。 在互联网大数据应用场景下，大部分情况下，数据量很大且数据字段数目很多，但每次查询数据只针对其中的少数几行，这时候列式存储是极佳的选择，目前在开源实现中，最有名的列
hadoop列式存储和行式存储
weixin_47467016的博客
11-10 2890
hadoop列式存储和行式存储
Hadoop文件存储格式
06-03 534
相比 TEXTFILE 和 SEQUENCEFILE，RCFILE 由于列式存储方式，数据加载时性能消耗较大，但是具有较好的压缩比和查询响应。数据仓库的特点是一次写入、多次读取，因此，整体来看，RCFILE 相比其余两种格式具有较明显的优势。
大数据开发--hadoop存储格式
qq_34382453的博客
12-11 772
行式存储与列式存储   在介绍hive存储格式之前，我们先来了解一下行式存储与列式存储的区别。 1、行式存储 优点：   一条数据就是一行，比较符合面向对象的思维，所有信息都放在一起。这种存储格式可以很方便的进行insert/update操作。 缺点： a、如果只需要查询几个列的数据，它会读取所有的列的数据，而不能跳过不需要的列。一般在数据量比较大的时候性能影响比较明显。 b、由于每一行中有很多不...
hadoop-2.7.1.7z
03-01
Hadoop是Apache软件基金会开发的一个开源分布式计算框架，它的核心设计思想是分布式存储和并行处理，能够处理和存储海量数据。"hadoop-2.7.1.7z"是一个压缩包，包含了Hadoop 2.7.1版本的所有组件和相关文件，这个...
[root@hadoop hadoop]# start-all.sh Starting namenodes on [hadoop] hadoop: namenode is running as process 7644. Stop it first and ensure /tmp/hadoop-root-namenode.pid file is empty before retry. Starting datanodes hadoop02: mv: cannot stat ‘/export/servers/hadoop-3.4.1/logs/hadoop-root-datanode-hadoop.out.4’: No such file or directory hadoop02: mv: cannot stat ‘/export/servers/hadoop-3.4.1/logs/hadoop-root-datanode-hadoop.out.3’: No such file or directory hadoop02: mv: cannot stat ‘/export/servers/hadoop-3.4.1/logs/hadoop-root-datanode-hadoop.out.2’: No such file or directory hadoop02: mv: cannot stat ‘/export/servers/hadoop-3.4.1/logs/hadoop-root-datanode-hadoop.out.1’: No such file or directory hadoop02: mv: cannot stat ‘/export/servers/hadoop-3.4.1/logs/hadoop-root-datanode-hadoop.out’: No such file or directory Starting secondary namenodes [hadoop02] hadoop02: secondarynamenode is running as process 5763. Stop it first and ensure /tmp/hadoop-root-secondarynamenode.pid file is empty before retry. Starting resourcemanager resourcemanager is running as process 15332. Stop it first and ensure /tmp/hadoop-root-resourcemanager.pid file is empty before retry. Starting nodemanagers hadoop01: mv: cannot stat ‘/export/servers/hadoop-3.4.1/logs/hadoop-root-nodemanager-hadoop.out.4’: No such file or directory hadoop01: mv: cannot stat ‘/export/servers/hadoop-3.4.1/logs/hadoop-root-nodemanager-hadoop.out.3’: No such file or directory hadoop01: mv: cannot stat ‘/export/servers/hadoop-3.4.1/logs/hadoop-root-nodemanager-hadoop.out.2’: No such file or directory hadoop01: mv: cannot stat ‘/export/servers/hadoop-3.4.1/logs/hadoop-root-nodemanager-hadoop.out.1’: No such file or directory hadoop01: mv: cannot stat ‘/export/servers/hadoop-3.4.1/logs/hadoop-root-nodemanager-hadoop.out’: No such file or directory
最新发布
06-12
### Hadoop 3.4.1 集群启动失败的解决方法 Hadoop 集群启动失败可能由多种原因引起，包括配置文件错误、权限问题、进程未正确停止或日志文件缺失等。以下是针对 `start-all.sh` 启动失败时 NameNode 和 DataNode ...
dbeaver-ce-23.0.0-linux.gtk.x86-64.tar.gz
03-06
它的设计目标是提供一个统一的平台，用于处理多种类型的数据库系统，包括关系型数据库（如MySQL、PostgreSQL）、NoSQL数据库（如MongoDB、Cassandra）以及大数据存储（如Hadoop）。这款工具支持Windows、macOS和...
[hadoop@master ~]$ cd $HADOOP_HOME/sbin [hadoop@master sbin]$ ./start-all.sh WARNING: Attempting to start all Apache Hadoop daemons as hadoop in 10 seconds. WARNING: This is not a recommended production deployment configuration. WARNING: Use CTRL-C to abort. Starting namenodes on [master] master: Permission denied (publickey,gssapi-keyex,gssapi-with-mic,password). Starting datanodes slave2: datanode is running as process 2561. Stop it first and ensure /tmp/hadoop-hadoop-datanode.pid file is empty before retry. slave1: datanode is running as process 6860. Stop it first and ensure /tmp/hadoop-hadoop-datanode.pid file is empty before retry. Starting secondary namenodes [master] master: Permission denied (publickey,gssapi-keyex,gssapi-with-mic,password). /usr/hadoop-3.3.5//etc/hadoop/yarn-env.sh: line 1: [/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.262.b10-1.el7.x86_64/jre: No such file or directory Starting resourcemanager resourcemanager is running as process 2952. Stop it first and ensure /tmp/hadoop-hadoop-resourcemanager.pid file is empty before retry. Starting nodemanagers slave2: /usr/hadoop-3.3.5//etc/hadoop/yarn-env.sh: line 1: [/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.262.b10-1.el7.x86_64/jre: No such file or directory slave1: /usr/hadoop-3.3.5//etc/hadoop/yarn-env.sh: line 1: [/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.262.b10-1.el7.x86_64/jre: No such file or directory slave2: nodemanager is running as process 2697. Stop it first and ensure /tmp/hadoop-hadoop-nodemanager.pid file is empty before retry. slave1: nodemanager is running as process 6984. Stop it first and ensure /tmp/hadoop-hadoop-nodemanager.pid file is empty before retry. 怎么办？
03-24
好的，我现在需要解决用户在启动Hadoop集群时遇到的几个问题，包括权限被拒绝、DataNode已经运行、ResourceManager的PID文件冲突以及Java路径错误。首先，我得逐一分析每个可能的原因，并找到对应的解决方法。 首先...
hadoop@UBT18desktop:/usr/local/hadoop$ ./sbin/start-dfs.sh Starting namenodes on [localhost] localhost: namenode is running as process 2578. Stop it first and ensure /tmp/hadoop-hadoop-namenode.pid file is empty before retry. Starting datanodes localhost: datanode is running as process 2737. Stop it first and ensure /tmp/hadoop-hadoop-datanode.pid file is empty before retry. Starting secondary namenodes [UBT18desktop] UBT18desktop: secondarynamenode is running as process 3019. Stop it first and ensure /tmp/hadoop-hadoop-secondarynamenode.pid file is empty before retry. SLF4J: Failed to load class "org.slf4j.impl.StaticLoggerBinder". SLF4J: Defaulting to no-operation (NOP) logger implementation SLF4J: See http://www.slf4j.org/codes.html#StaticLoggerBinder for further details. hadoop
03-25
# 默认存储路径（根据hadoop-env.sh配置） rm /tmp/hadoop-*-namenode.pid rm /tmp/hadoop-*-datanode.pid rm /tmp/hadoop-*-secondarynamenode.pid ``` 5. **检查日志定位根源** ```bash tail -f /var/log/...
数据仓库与HDFS的列存储技术
07-31
单机数据（仓）库 数据量GB级（最多几个TB） Infobright MPP数据（仓）库 Share-nothing存储架构，水平扩展 Sybase IQ / Teradata / HANA / Greenplum SQL on Hadoop 采用HDFS作为统一的数据存储 采用MapReduce-like或者MPP-like的计算引擎 Hive / Spark SQL / Presto / Impala / HAWQ
【Hadoop】Hadoop文件压缩与存储格式
Together
09-12 1407
（图片来源于网络，侵删） 文件压缩是什么？文件？压缩？顾名思义，可以认为是对一个文件的大小进行压缩，使其压缩后的大小为原本大小的二分之一、四分之一、甚至十分之一，这样压缩后的文件减小了文件的存储大小，释放了大量空间，也利于文件的传输！ 在Hadoop中，我们知道MR的输入和输出以及中间结果的Shuffle都和Disk有密切的“交流” ！ 所以压缩对于MR来说可以说是非常重要的！因为我们看一下常见的压缩方式有哪些吧！ 如下图???? 压缩格式 codec类 算法 扩展名 多文件 splitable
hadoop生态圈-- 个人笔记学习03 文件存储格式
JamSlade的博客
07-05 389
传统文件存储格式：就jpeg，mp3，doc等server/ host上，由块设备，如硬盘。软盘等，格式选择取决用途。在HDFS应用程序（如MapReduce or Spark）中， 性能瓶颈在于特定位置查找数据和写入消耗的时间。管理大量数据也很复杂（数据的存储，数据格式变化）需要选择合适的文件格式数据处理的不同阶段使用不同格式：发挥优势。
Hadoop RCFile存储格式详解（源码分析、代码示例）
leishenop的专栏
05-10 1505
RCFile   RCFile全称Record Columnar File，列式记录文件，是一种类似于SequenceFile的键值对（Key/Value Pairs）数据文件。   关键词：Record、Columnar、Key、Value。   RCFile的优势在哪里？适用于什么场景？为了让大家有一个感性的认识，我们来看一个例子。   假设我们有这样一张9行3列的Hive数据...
几张图看懂列式存储
weixin_30390075的博客
11-15 3938
最近看到一篇很好资料，里面三言两语配上几个图就把列式存储(Column-based Storage)讲明白了，牛啊！最喜欢的就是这种浅显易懂就把背景知识讲得明明白白，而不是长篇大论的讲概念。1 为什么要按列存储列式存储(Columnar or column-based)是相对于传统关系型数据库的行式存储(Row-basedstorage)来说的。简单来说两者的区别就是如何组织表(翻译不好，直接...
Hadoop学习笔记 --- 深入理解 parquet 列式存储格式
杨鑫newlife的专栏
10-02 4932
Hadoop学习笔记 --- 深入理解 parquet 列式存储格式
Hadoop列式存储引擎Parquet/ORC和snappy压缩
swing2008的专栏
11-26 6229
Hadoop列式存储引擎Parquet/ORC和snappy压缩 原文  http://www.itweet.cn/2016/03/15/columnar-storage-parquet-and-orc/ 主题 Parquet Hadoop 相对于传统的行式存储格式，列式存储引擎具有更高的压缩比，更少的IO操作而备受青睐。列式存储缺点：在column数很多，每次操作大部分
Parquet与ORC：高性能列式存储格式
热门推荐
Hello World
07-09 6万+
背景随着大数据时代的到来，越来越多的数据流向了Hadoop生态圈，同时对于能够快速的从TB甚至PB级别的数据中获取有价值的数据对于一个产品和公司来说更加重要，在Hadoop生态圈的快速发展过程中，涌现了一批开源的数据分析引擎，例如Hive、Spark SQL、Impala、Presto等，同时也产生了多个高性能的列式存储格式，例如RCFile、ORC、Parquet等，本文主要从实现的角度上对比分析
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值