Hive数据压缩_MR数据压缩_存储数据压缩

最新推荐文章于 2024-10-08 08:46:34 发布
最新推荐文章于 2024-10-08 08:46:34 发布
阅读量307 收藏 1
点赞数
分类专栏： Hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/zhsworld/article/details/119279533
版权
本文探讨了Hive中的数据压缩，主要涉及MR数据压缩的基本含义、压缩编码和实际操作，以及Hive存储数据压缩的原理，如textFile、sequenceFile、rcfile、orc和parquet等存储格式的压缩性能比较。建议在IO密集型任务中使用压缩，推荐orc或parquet作为Hive表的存储格式，并选择snappy或lzo作为压缩方式。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

一 MR 数据压缩

Hadoop三大核心：HDFS（负责存储）、MapReduce（负责计算）、Yarn（ 负责调度计算）
Hive基于HDFS存储，Hive计算是将Hql语句转换为MR任务，而MR任务可以对处理的数据进行压缩。所以所谓Hive数据压缩就是MR数据压缩

1、基本含义

MR压缩：通过压缩编码对mapper或者reducer的输出进行压缩，以减少磁盘IO，提高MR程序运行速度，但相应增加了cpu运算负担


压缩特性运用得当能提高性能，但运用不当也可能降低性能。其基本原则是：

  • 运算密集型的job，少用压缩
  • IO密集型的job，多用压缩

2、压缩编码、算法和对比

MR支持的压缩编码

为了支持多种压缩/解压缩算法，Hadoop引入了编码/解码器，如下表所示：

压缩格式 对应的编码/解码
DEFAULT org.apache.hadoop.io.compress.
最低0.47元/天 解锁文章
(10)Hive的相关概念——文件格式和数据压缩
爱吃辣条的博客
02-15 1797
Hive的相关概念——文件格式和数据压缩
Hive系列之-5、Hive的数据压缩和数据存储格式
不积跬步无以至千里，不积小流无以成江河
09-18 396
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。 大数据系列文章目录 目录hive的数据压缩MR支持的压缩编码压缩配置参数开启Map输出阶段压缩开启Reduce输出阶段压缩hive的数据存储格式列式存储和行式存储主流文件存储格式对比实验存储和压缩结合 hive的数据压缩 在实际工作当中，hive当中处理的数据，一般都需要经过压缩，可以使用压缩来节省我们的MR处理的网络带宽 MR支持的压缩编码 压缩格式 工具 算法 文件扩展名 是否可切分
HIVE的压缩和存储格式
u013983161的博客
05-10 1952
在生产环境中，常用的HIVE存储格式：列式存储的orc和parquet HIVE压缩格式：冷数据-----gzip压缩（压缩比高，压缩解压缩速度高，不可切割）； 非冷数据------lzo（可切割）和snappy（不可切割） 案例：student表存储方式是ORC，压缩方式SNAPPY create table student (empno int,empname string) stored as orc tblproperties("orc...
Hive的数据压缩:开启Map输出阶段压缩，开启Reduce输出阶段压缩
11-28 4871
开启Map输出阶段压缩 开启map输出阶段压缩可以减少job中map和Reduce task间数据传输量。具体配置如下： 案例实操： 1）开启hive中间传输数据压缩功能 hive (default)>set hive.exec.compress.intermediate=true; 2）开启mapreduce中map输出压缩功能 hive (default)>set mapredu...
Hive的数据压缩
散步的博客
04-01 1361
在实际工作当中，hive当中处理的数据，一般都是需要经过压缩，前期我们在学习hadoop的时候，已经配置过hadoop的压缩， 这里的hive也是一样，可以使用压缩来节省我们的额MR的处理的网络带宽。 为了支持多种压缩/解压缩算法，Hadoop引入编码/解码器， 压缩配置参数： 要在Hadoop中启用压缩，可以配置如下参数（mapred-site.xml文件中） ...
hive的数据压缩
依旧的博客
12-05 3716
在实际工作当中，hive当中处理的数据，一般都需要经过压缩，前期学习hadoop的时候，已经配置过hadoop的压缩，hive也可以使用压缩来节省MR处理的网络带宽 一、MR支持的压缩编码 压缩格式 工具 算法 文件扩展名 是否可切分 DEFAULT 无 ...
Hive数据压缩和存储
Joker_Jiang3的博客
07-22 491
Hive数据压缩和存储 一、Hadoop压缩配置 1、MR支持的压缩编码 压缩格式 算法 文件扩展名 是否可切分 DEFLATE DEFLATE .deflate 否 Gzip DEFLATE .gz 否 bzip2 bzip2 .bz2 是 LZO LZO .lzo 是 Snappy Snappy .snappy 否 为了支持多种压缩/解压缩算法，Hadoop 引入了编码/解码器，如下表所示： 压缩格式 对应的编码/解码器 DEFLATE org.apa
Hive 之 压缩和存储
恋梦轩
04-12 581
记录了Hive工具中的压缩与存储的相关知识。
Hive中的数据压缩
u012957549的博客
01-05 2440
1.数据文件存储格式 下面简介一下hive 支持的存储格式 file_format: : SEQUENCEFILE | TEXTFILE -- (Default, depending on hive.default.fileformat configuration) | RCFILE -- (Note: Available in Hive 0.6.0 and ...
Hive：数据压缩
最新发布
大连赵哥的博客
10-08 484
Hive：数据压缩
HIVE数据的压缩与存储格式
meng_xin_true的博客
07-29 2186
压缩技术能够有效减少底层存储系统（HDFS）读写字节数。压缩提高了网络带宽和磁盘空间的效率。在运行MR程序时，I/O操作、网络数据传输、Shuffle和Merge要花大量的时间，尤其是数据规模很大和工作负载密集的情况下，因此，使用数据压缩显得非常重要。鉴于磁盘I/O和网络带宽是Hadoop的宝贵资源，数据压缩对于节省资源、最小化磁盘I/O和网络传输非常有帮助。可以在任意MapReduce阶段启用压缩。不过，尽管压缩与解压操作的CPU开销不高，其性能的提升和资源的节省并非没有代价。...
Hive表的数据压缩和企业级调优
a1007904449的博客
08-12 1000
压缩模式评价常见压缩格式http://google.github.io/snappy/On a single core of a Core i7 processor in 64-bit mode, Snappy compresses at about 250 MB/sec or more and decompresses at about 500 MB/sec or more.案例实操： 1.4 开启Reduce输出阶段压缩 当Hive将输出写入到表中时，输出内容同样可以进行压缩。属性hive.exec.
hive的数据压缩格式和存储格式
Autumn_tears的博客
08-20 790
1.Textfile：Hive数据表的默认格式 可以使用Gzip压缩算法，但压缩后的文件不支持split 2.SEQUENCEFILE Sequence File是可分割的文件格式，支持Hadoop的block级压缩。 3.RCFILE 数据按行分块，每块按列存储 4.ORCFILE 数据按行分块，每块按照列存储 1.gzip压缩 不支持split，当每个文件压缩之后在130M以内的（1个块大小内），都可以考虑用gzip压缩格式 2.zlib压缩 支持orcfile格式，性..
MR 之 压缩文件
最慢的步伐不是跬步，而是徘徊；最快的脚步不是冲刺，而是坚持
11-18 6464
压缩 snappy 格式 1 数据 ： 2 需求 ： 在 hadoop 集群上 压缩 为 ： /part-r-00000.snappy 3 代码实现： Map 代码 ： package demo01; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.LongWritable; import org...
MR案例之压缩/解压缩
StephenYou的自习室
08-25 780
MR案例之压缩/解压缩数据流的压缩/解压缩数据准备数据流压缩结果展示数据流解压缩结果展示 数据流的压缩/解压缩 CompressionCodec有两个方法可以用于轻松地压缩或解压缩数据。要想对正在被写入一个输出流的数据进行压缩，我们可以使用createOutputStream(OutputStreamout)方法创建一个CompressionOutputStream，将其以压缩格式写入底层的流。相...
hive之文件格式与压缩
&volume的博客
07-23 1300
为Hive表中的数据选择一个合适的文件格式，对提高查询性能的提高是十分有益的。Hive表数据的存储格式，可以选择text file、orc、parquet、sequence file等。ORC（Optimized Row Columnar）file format是Hive 0.11版里引入的一种列式存储的文件格式。ORC文件能够提高Hive读写数据和处理数据的性能。我们文件一般都是一个二维表，行式存储就是以一行数据为一个单位，存储在相邻的位置，列示存储是以一列数据为单位，一个单位内的数据放在相邻的位置。
大数据开发之Hive（压缩和存储）
key_honghao的博客
01-13 1544
Hive不会强制要求将数据转换成特定的格式才能使用。利用Hadoop的InputFormat API可以从不同数据源读取数据，使用OutputFormat API可以将数据写成不同的格式输出。对数据进行压缩虽然会增加额外的CPU开销，但是会节约客观的磁盘空间，并且通过减少内存的数据量而提高I/O吞吐量会更加提高网络传输性能。原则上Hadoop的job时I/O密集型的话就可以采用压缩可以提高性能，如果job是CPU密集型的话，那么使用压缩可能会降低执行性能。
重温大数据---Hive数据压缩与优化
LeoByte的编程驿站
11-20 2343
首先我要感谢优快云，我的重温大数据—HA架构部署连着好几天在大数据板块的可见位置了，访问量瞬间爆炸。这也是对我的一种肯定吧，至少我以前的文章还没有能破千的。
电商网站日志数据分析：Hadoop、Hive、HBase与MR的应用
但通常在大数据项目中，文件压缩是为了便于数据传输、节省存储空间，并且支持快速读写。Hadoop支持多种文件压缩格式，如Gzip、Bzip2、Snappy等。 综上所述，本电商网站日志项目集成了Hadoop生态中的多个组件以及...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值