Hive格式各种格式下不同压缩算法的比较

最新推荐文章于 2024-02-28 22:34:17 发布

原创最新推荐文章于 2024-02-28 22:34:17 发布 · 5.2k 阅读

4 ·

CC 4.0 BY-SA版权

hive 专栏收录该内容

162 篇文章

订阅专栏

本文对比了不同压缩算法和文件格式在Hive中的使用效果，包括Text、Parquet、ORC和RCFile等格式，以及Snappy、Gzip和ZLIB等压缩算法，展示了各种组合下的数据压缩比率。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

原始Text格式的hive分区大小为119.2G。

压缩算法	Text格式	Parquet格式	ORC	RCFile
不压缩	119.2G	54.1G	20.0G	98G
Snappy压缩	30.2 G	23.6	13.6	27.0G
Gzip压缩	18.8 G	14.1 G	不支持	15.2G
ZLIB压缩	不支持	不支持	10.1G	不支持

注意：我们集群现在hive设置默认snappy压缩，而parquet的压缩格式设置为parquet.compression=snappy，以前setmapred.output.compression=org.apache.hadoop.io.compress.SnappyCodec不起作用。

Orc的压缩格式设置方法为：orc.compress=SNAPPY,默认为ZLIB.

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

houzhizhen

关注关注

2
点赞
踩
4

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

(10)Hive的相关概念——文件格式和数据压缩

爱吃辣条的博客

02-15

1834

Hive的相关概念——文件格式和数据压缩

[Hive基础]-- Hive table 的压缩方式和存储格式

欢迎来到我的博客，一起探索代码里的世界！

04-06

2700

一、了解 Hadoop 的压缩方式 1.Hadoop 的压缩方式的基本信息压缩格式扩展名多文件支持切片压缩比排行解压速度排行工具 hadoop自带 gzip .gz 否否 2 3 gzip 是 bzip2 .bz2 是是 1 4 bzip2 是 lzo .lzo 否是 3 2 lzop 否 snappy

参与评论您还未登录，请先登录后发表或查看评论

Hive使用不同格式压缩后对比

qq_32470399的博客

06-14

1115

目录 1、设置压缩和自动分区 2、创建带压缩的parquet table 3、如果原来创建表的时候没有指定压缩，后续可以通过修改表属性的方式添加压缩 4、数据压缩对比 5、查询除了其中某个字段剩余所有字段 6、SQL查询时间 1、设置压缩和自动分区 set parquet.compression=snappy; set hive.exec.dynamic.partition...

Hive 中的压缩格式对比

qq_654603797

04-10

1153

TextFile 默认格式，存储方式为行存储，数据不做压缩，磁盘开销大，数据解析开销大。可结合Gzip、Bzip2使用(系统自动检查，执行查询时自动解压)，但使用这种方式，压缩后的文件不支持split，Hive不会对数据进行切分，从而无法对数据进行并行操作。并且在反序列化过程中，必须逐个字符判断是不是分隔符和行结束符，因此反序列化开销会比SequenceFile高几十倍。 SequenceFile SequenceFile是Hadoop API提供的一种二进制文件支持，存储方式为行存储，其具有使用方便

Hive常见压缩格式和性能对比

11号车厢

08-12

2960

压缩能够减少存储磁盘空间，降低网络IO和磁盘IO，加快数据在磁盘和网络中的传输速度，从而提高系统的处理速度。虽然由以上的好处，但是由于使用数据时，需要先将数据解压，加重了CPU负荷。根据我们的实际工作场景，我们要选择合适的压缩格式。常见的压缩格式如下：下面是一份源数据1.4G的文件，各类压缩格式的比率和时间对比数据压缩后大小：压缩和解压时间：从上面对比可以看出：在压缩数据比...

Hive存储格式和压缩算法

卡卡的博客

10-31

1681

Hive文件存储格式和压缩算法介绍

HIVE的压缩和存储格式

u013983161的博客

05-10

1986

在生产环境中，常用的HIVE存储格式：列式存储的orc和parquet HIVE压缩格式：冷数据-----gzip压缩（压缩比高，压缩解压缩速度高，不可切割）；非冷数据------lzo（可切割）和snappy（不可切割）案例：student表存储方式是ORC，压缩方式SNAPPY create table student (empno int,empname string) stored as orc tblproperties("orc...

Hive中压缩使用详解与性能分析

涤生大数据

01-05

7217

HIVE底层是hdfs和mapreduce实现存储和计算的。所以HIVE可以使用hadoop自带的InputFormat和Outputformat实现从不同的数据源读取文件和写出不同格式的文件到文件系统中。同理，HIVE也可以使用hadoop配置的压缩方法对中间结果或最终数据进行压缩。 1.什么是压缩及优劣？ hive中数据做压缩和解压缩跟windows下的数据压缩差不...

Hive 存储与压缩

JIE的博客 --- moon_coder

11-01

2438

通过对存储效率与压缩效率，综合时间效率，在实际生产过程中，我们一般使用 ORC 或 Parquet 作为 Hive 表的数据存储格式，而压缩方式则推荐使用SNAPPY 作为压缩策略。

【hive】hive常见的几种文件存储格式与压缩方式的结合-------Parquet格式+snappy压缩以及ORC格式+snappy压缩文件的方式

最新发布

xd__xy的博客

02-28

1291

压缩格式算法文件扩展名是否可切分DEFLATEDEFLATE.deflate否GzipDEFLATE.gz否bzip2bzip2.bz2是LZOLZO.lzo是SnappySnappy.snappy否为了支持多种压缩/解压缩算法，Hadoop引入了编码/解码器，如下表所示：Hadoop查看支持压缩的方式hadoop checknative。Hadoop在driver端设置压缩。压缩格式对应的编码/解码器DEFLATEgzipbzip2LZO。

hive的压缩

a13813972564的博客

07-09

254

压缩减少网络传输量 ==hive当中使用的压缩方式是：snappy hadoop2 默认本地库不支持snappy的压缩需要重新编译hadoop让其支持本地库的压缩开启map的输出阶段压缩可以减少job中map和reduce task间数据传输量，具体配置如下：案例实操： 1）开启hive中间传输数据压缩功能 hive (default)>set hive.exec.compress.intermediate=true; 2）开启mapreduce中map输出压缩功能 hive (defaul

hive压缩

weixin_38251332的博客

02-22

2797

Hadoop压缩数据流程 hadoop中有三个阶段可以用到压缩，分别是Map，Shuffle和Reduce，其中Map阶段首先对输入的数据进行压缩，然后在Map的job中进行解压并对数据进行业务处理，将结果写入磁盘的时候进行数据的压缩，Shuffle的过程中将磁盘中压缩的文件内容读取出来，然后传递给Reduce，Reduce中对数据再进行解压并做业务处理，整个过程都计算完毕后再用压缩对输出进行压缩。其数据流程可以用下面的流程表示：压缩的输入文件->(解压数据)->Maps->压缩输

Hive之配置使用snappy压缩

Mr.pan felix的专栏

07-10

7133

https://zhuanlan.zhihu.com/p/103740807 https://blog.youkuaiyun.com/xsdxs/article/details/53152599 为什么要压缩在Hive中对中间数据或最终数据做压缩，是提高数据吞吐量和性能的一种手段。对数据做压缩，可以大量减少磁盘的存储空间，比如基于文本的数据文件，可以将文件压缩40%或更多。同时压缩后的文件在磁盘间传输和I/O也会大大减少；当然压缩和解压缩也会带来额外的CPU开销，但是却可以节省更多的I/O和使用更..

Hive压缩方式设置

迷茫君的博客

08-14

2330

Map 输出阶段开启 map 输出阶段压缩可以减少 job 中 map 和 reduce task 之间数据传输量。具体配置如下： #开启 hive 中间传输数据压缩功能 hive (bigdata)&amp;gt; set hive.exec.compress.intermediate=true; #开启 mapreduce 中 map 输出压缩功能 hive (bigdata)&amp;gt; se...

关于hive数据压缩

weixin_30814319的博客

12-19

310

一、优缺点优点： 1，减少存储磁盘空间，降低单节点的磁盘IO。 2，由于压缩后的数据占用的带宽更少，因此可以加快数据在Hadoop集群流动的速度。例如在不同节点创建3个replica的阶段，或是shuffle阶段。缺点：需要花费额外的时间/CPU做压缩和解压缩计算二、几种常见的压缩对比三、压缩分析 ...

Hive文件存储格式的测试比较

valder fields

04-22

804

整理了一下网上的几种Hive文件存储格式的性能与Hadoop的文件存储格式。 Hive的三种文件格式：TEXTFILE、SEQUENCEFILE、RCFILE中，TEXTFILE和SEQUENCEFILE的存储格式都是基于行存储的，RCFILE是基于行列混合的思想，先按行把数据划分成N个row group，在row group中对每个列分别进行存储。另：Hive能支持自定义格...

CDH550 Hive存储格式与HQL详解：行存、列存与压缩

"CDH550@hive存储格式和HQL材料主要涵盖了Hive的三种存储模式：行存储、列存储和混合存储，以及Hive数据压缩的不同方式，如gzip、lzo和snappy。" 在CDH550版本的Hive中，数据存储有三种基本模式： 1. 行存储模式是...