大数据学习笔记29:Hadoop压缩机制演示

本文详细介绍了Hadoop的压缩机制,包括gzip、bzip2、lzo和snappy四种压缩格式的优缺点和应用场景,并通过Java程序演示了如何读取Hadoop压缩文件,以及如何将MR程序结果文件压缩成gzip格式。对于map任务输出结果的压缩也进行了讨论,强调了压缩在网络传输中的好处。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

一、Hadoop压缩机制

1、两种Hadoop自带压缩格式

在这里插入图片描述

2、常用压缩格式优缺点及应用场景

(1)gzip压缩

  • 优点:压缩率比较高,而且压缩/解压速度也比较快;hadoop本身支持,在应用中处理gzip格式的文件就和直接处理文本一样;有hadoop native库;大部分Linux系统都自带gzip命令,使用方便。
  • 缺点:不支持split。
  • 应用场景:当每个文件压缩之后在130M以内的(1个块大小内),都可以考虑用gzip压缩格式。譬如说一天或者一个小时的日志压缩成一个gzip 文件,运行MapReduce程序的时候通过多个gzip文件达到并发。hive程序,streaming程序,和java写的MapReduce程序完全和文本处理一样,压缩之后原来的程序不需要做任何修改。

(2)bzi

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

酒城译痴无心剑

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值