Hive表存储格式的介绍和比较

最新推荐文章于 2024-12-13 13:56:01 发布
转载 最新推荐文章于 2024-12-13 13:56:01 发布 · 393 阅读 · 0 ·
CC 4.0 BY-SA版权
原文链接：https://blog.youkuaiyun.com/zyzzxycj/article/details/79267635?utm_source=distribute.pc_relevant.none-task
文章标签：

#大数据 #hive

本文详细介绍了四种大数据存储格式：TextFile、RCFile、ORCFile和Parquet的特点和性能。对比了它们在压缩、查询速度和支持模式演进方面的优劣，并提供了性能测试的参考链接。

一、四种存储格式介绍

1、TestFile


 TextFile文件不支持块压缩，默认格式，数据不做压缩，磁盘开销大，数据解析开销大。这边不做深入介绍。


2、RCFile


 Record Columnar的缩写。是Hadoop中第一个列文件格式。能够很好的压缩和快速的查询性能，但是不支持模式演进。通常

写操作比较慢，比非列形式的文件格式需要更多的内存空间和计算量。

 RCFile是一种行列存储相结合的存储方式。首先，其将数据按行分块，保证同一个record在一个块上，避免读一个记录需要读

取多个block。其次，块数据列式存储，有利于数据压缩和快速的列存取。


3、ORCFile


 存储方式：数据按行分块 每块按照列存储 ，压缩快 快速列存取，效率比rcfile高,是rcfile的改良版本，相比RC能够更好的压

缩，能够更快的查询，但还是不支持模式演进。


4、Parquet


 Parquet能够很好的压缩，有很好的查询性能，支持有限的模式演进。但是写速度通常比较慢。这中文件格式主要是用在

Cloudera Impala上面的。


“RC ORC Parquet 格式比较和性能测试”可参照博客：

http://blog.youkuaiyun.com/colorant/article/details/53699822?locationNum=2&fps=1


二、四种存储格式分析


1、分析结果数据表




sql编号：




2、读操作效率分析结果






3、存储效率分析结果





    Hive数据存储格式
    凉茶铺的博客
    10-16 4049
    Hive支持的存储数的格式主要有：TEXTFILE（默认格式） 、SEQUENCEFILE、RCFILE、ORCFILE、PARQUET。
    数据库领域Hive的存储格式选择与性能对比
    2502_91592937的博客
    05-07 1161
    在大数据处理中，Hive作为一个数据仓库基础设施，为数据的存储和查询提供了方便的接口。不同的存储格式会对Hive的数据处理性能产生显著影响。本文的目的是全面分析Hive中常见的存储格式，比较它们在读写性能、存储空间占用等方面的差异，为开发者和数据分析师在选择合适的存储格式时提供参考。范围涵盖了Hive中几种主流的存储格式，如TextFile、ORC、Parquet等。本文首先介绍Hive存储格式的相关背景知识，包括核心概念和联系；
    Hive中的各种存储格式的区别
    weixin_39400271的博客
    11-16 1638
    hive包含的文件存储格式有：textFile、SequenceFile、RCfile、ORCFile，parquet。 textFile： 默认的文件格式，行存储。 优点：最简单的数据格式，便于和其它工具（pig，grep，awk）共享数据，便于查看和编辑；加载快； 缺点：存储空间占用较大，I/O性能低；不可对数据进行切割、...
    Hive常见的存储格式的区别与应用场景
    奔赴彼岸
    01-17 3089
    一、文件存储格式 在HIVE中，常见的文件存储格式有 TextFile Parquet ORC Sequencefile RC AVRO 注意：TextFile、Sequencefile 基于行存储，ORC、Patquet基于列存储 行存储和列存储 上图中左边为行存储，右边为列存储 行存储的特点：查询满足条件的一整行数据时，列式存储则需要去每个聚集的字段找到对应的每列的值，行存储只需要找到其中一个值，其余的值都在相邻地方，所以此时行存储查询数据更快。 列式存储的特点：查询满足条件的一整列数据的时候，行存储
    hive基础知识五
    weixin_42575593的博客
    10-03 294
    Hive 主流文件存储格式对比 1、存储文件的压缩比测试 1.1 测试数据 https://github.com/liufengji/Compression_Format_Data ​ log.txt 大小为18.1 M 1.2 TextFile 创建表，存储数据格式为TextFile create table log_text ( trac...
    Hive的存储格式对比
    weixin_33851604的博客
    04-20 205
    在生产中可以通过Hive表的文件格式及查询速度的对比来确定使用哪种文件格式，以节省空间和提高查询速度；官方参考文档：https://cwiki.apache.org/confluence/display/HIVE结论：压缩效果：最好的是：bzip2；bzip2压缩比很高，但是占用时间较久 其次：orc和parquet的压缩几乎一致；生产建...
    Hive存储格式对比
    Mr.pan felix的专栏
    07-10 1252
    Apache Hive支持Apache Hadoop中使用的几种熟悉的文件格式，如TextFile，RCFile，SequenceFile，AVRO，ORC和Parquet格式。ClouderaImpala也支持这些文件格式。在建表时使用STORED AS (TextFile|RCFile|SequenceFile|AVRO|ORC|Parquet)来指定存储格式。 TextFile每一行都是一条记录，每行都以换行符（\ n）结尾。数据不做压缩，磁盘开销大，数据解析开销大。可结合Gzip、Bzip2使..
    Hive的数据存储格式
    weixin_42771366的博客
    10-28 1213
    Hive存储格式 Hive建表格式
    《Hive 存储格式详解》
    weixin_47266126的博客
    12-13 1185
    Hive 的存储格式对于数据的存储效率、查询性能和数据压缩等方面都有着重要的影响。在选择 Hive 的存储格式时，需要考虑数据的特点、性能要求和与其他工具的集成等因素。常见的 Hive 存储格式包括文本文件格式、Sequence File 格式、RCFile 格式、ORCFile 格式和 Parquet 格式等。Hive 的存储格式对于数据的存储效率、查询性能和数据压缩等方面都有着重要的影响。本文将详细介绍 Hive 的存储格式，包括常见的存储格式类型、特点和适用场景。（一）压缩算法的选择。
    CDH550@hive存储格式和HQL材料
    11-14
    通过对Hive存储格式的理解，我们可以根据具体的应用场景选择最合适的存储方式和压缩算法，从而提高大数据处理的效率和性能。例如，在需要频繁执行复杂查询的情况下，可以优先考虑列存储格式和高效的压缩算法，如lzo...
    Hive不同的存储格式比较
    weixin_45017098的博客
    05-10 1042
    存储格式概念区别使用场景优点缺点建表语句磁盘空间查询效率存储效率文本文件（TEXTFILE）将数据存储为文本格式适合存储小数据量、可读性要求高的场景易于使用、可读性强存储格式简单读取速度较慢、不适合存储海量数据较大，每行数据都以文本形式存储读取速度较慢存储效率低序列文件（SEQUENCEFILE）将数据存储为二进制格式适合存储大数据量、对可读性要求不高的场景读取速度快、易于存储大数据量存储格式紧凑、可压缩不支持单独读取某一列。
    【Hive】建表时的存储格式
    hyj
    09-09 6380
    hive建表时的存储格式
    Hive常见的存储格式文件比较
    qq_43193797的博客
    01-13 522
    一 列式存储和行式存储 首先我们看一下一张表的存储格式 1.1 行式存储 1.2 列式存储 1.3列式存储和行式存储的比较 行式存储 优点： #相关的数据是保存在一起，比较符合面向对象的思维，因为一行数据就是一条记录 #这种存储格式比较方便进行INSERT/UPDATE操作 缺点： #如果查询只涉及某几个列，它会把整行数据都读取出来，不能跳过不必要的列读取。当然数据...
    【Hive】（三）Hive 数据类型
    云祁QI
    12-11 1526
    Hive有三种复杂数据类型**ARRAY、MAP 和 STRUCT**。ARRAY和MAP与Java中的Array和Map类似，而STRUCT与C语言中的Struct类似，它封装了一个命名字段集合，复杂数据类型允许任意层次的嵌套。
    Hive文件存储格式（TEXTFILE 、ORC、PARQUET三者的对比）
    07-15 9198
    Hive文件存储格式（TEXTFILE 、ORC、PARQUET三者的对比） 综述： HIve的文件存储格式有四种：TEXTFILE、SEQUENCEFILE、ORC、PARQUET，前面两种是行式存储，后面两种是列式存储；所谓的存储格式就是在Hive建表的时候指定的将表中的数据按照什么样子的存储方式，如果指定了A方式，那么在向表中插入数据的时候，将会使用该方式向HDFS中添加相应的数据类型。 如果为textfile的文件格式，直接load就OK，不需要走MapReduce；如果是其他的类型就需要走Ma.
    hive的存储格式
    Yz9876的博客
    12-12 1783
    hive 高版本的不支持索引了，所以使用 datagrip 的时候，hive.log 中会出现大量的错误。查询性能高，写操作慢，所需内存大，计算量大。此格式为行列混合存储，hive在该格式下，会尽量将附近的行和列的块存储到一起。HQL语句最终会被编译成Hadoop的Mapreduce job,因此hive的压缩设置，实际上就是对底层MR在处理数据时的压缩设置。每一种文件文件格式有一定的压缩比例，但是不是真正的压缩，而是文件格式带来的。hive的压缩使用的是工具压缩，跟存储格式自带压缩不是一回事儿。
    Hive文件存储格式（TEXTFILE 、ORC、PARQUET三者的存储格式的压缩对比和查询速度对比）
    热门推荐
    isea_you's blog
    12-06 2万+
    综述： HIve的文件存储格式有四种：TEXTFILE、SEQUENCEFILE、ORC、PARQUET，前面两种是行式存储，后面两种是列式存储；所谓的存储格式就是在Hive建表的时候指定的将表中的数据按照什么样子的存储方式，如果指定了A方式，那么在向表中插入数据的时候，将会使用该方式向HDFS中添加相应的数据类型。 如果为textfile的文件格式，直接load就OK，不需要走MapRed......
    hive 修改表存储格式
    最新发布
    09-16
    1. 介绍：Hive表存储格式决定了数据在HDFS上的存储方式。 2. 方法：使用`ALTER TABLE`语句修改存储格式。 - 语法：`ALTER TABLE table_name SET FILEFORMAT file_format;` - 示例：`ALTER TABLE my_table SET FILE...
    评论
    添加红包

    请填写红包祝福语或标题

    个

    红包个数最小为10个

    元

    红包金额最低5元

    当前余额3.43元 前往充值 >
    需支付：10.00元
    成就一亿技术人!
    领取后你会自动成为博主和红包主的粉丝 规则
    hope_wisdom
    发出的红包
    实付元
    使用余额支付
    点击重新获取
    扫码支付
    钱包余额 0

    抵扣说明：

    1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
    2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

    余额充值