Hadoop数据压缩

最新推荐文章于 2024-05-25 11:50:53 发布
原创 最新推荐文章于 2024-05-25 11:50:53 发布 · 273 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hadoop #mapreduce

本文探讨了Hadoop中数据压缩的原理、内置编码器对比、压缩格式选择及其对性能的影响。通过实例演示了如何在MapReduce任务中启用和配置压缩，以及针对不同场景（如Mapper和Reducer输出）的压缩设置。

Hadoop数据压缩

1、概述

1）压缩的好处和坏处

压缩的优点：以减少磁盘IO、减少磁盘存储空间。

压缩的缺点：增加CPU开销。

2）压缩原则

（1）运算密集型的Job，少用压缩

（2）IO密集型的Job，多用压缩

2、MR支持的压缩编码

1）压缩算法对比介绍

压缩格式Hadoop自带？算法文件扩展名是否可切片换成压缩格式后，原来的程序是否需要修改
DEFLATE是，直接使用DEFLATE.deflate否和文本处理一样，不需要修改
Gzip是，直接使用DEFLATE.gz否和文本处理一样，不需要修改
bzip2是，直接使用bzip2.bz2是和文本处理一样，不需要修改
LZO否，需要安装LZO.lzo是需要建索引，还需要指定输入格式
Snappy是，直接使用Snappy.snappy否和文本处理一样，不需要修改

2）压缩性能的比较

压缩算法原始文件大小压缩文件大小压缩速度解压速度
gzip8.3GB1.8GB17.5MB/s58MB/s
bzip28.3GB1.1GB2.4MB/s9.5MB/s
LZO8.3GB2.9GB49.3MB/s74.6MB/s

3、压缩方式的选择

压缩方式选择时重点考虑：压缩/解压缩速度、压缩率（压缩后存储大小）、压缩后是否可以支持切片。

3.1 Gzip 压缩

优点：压缩率比较高；

缺点：不支持Split；压缩/解压速度一般；

3.2 Bzip2压缩

优点：压缩率高；支持Split；

缺点：压缩/解压速度慢。

3.3 Lzo压缩

优点：压缩/解压速度比较快；支持Split；

缺点：压缩率一般；想支持切片需要额外创建索引。

3.4 Snappy压缩

优点：压缩和解压缩速度快；

缺点：不支持Split；压缩率一般；

3.5 压缩位置选择

压缩可以在MapReduce作用的任意阶段启用

4

4、压缩参数配置

1）为了支持多种压缩/解压缩算法，Hadoop引入了编码/解码器

压缩格式对应的编码/解码器
DEFLATEorg.apache.hadoop.io.compress.DefaultCodec
gziporg.apache.hadoop.io.compress.GzipCodec
bzip2org.apache.hadoop.io.compress.BZip2Codec
LZOcom.hadoop.compression.lzo.LzopCodec
Snappyorg.apache.hadoop.io.compress.SnappyCodec

2）要在Hadoop中启用压缩，可以配置如下参数

参数默认值阶段建议
io.compression.codecs （在core-site.xml中配置）无，这个需要在命令行输入hadoop checknative查看输入压缩Hadoop使用文件扩展名判断是否支持某种编解码器
mapreduce.map.output.compress（在mapred-site.xml中配置）falsemapper输出这个参数设为true启用压缩
mapreduce.map.output.compress.codec（在mapred-site.xml中配置）org.apache.hadoop.io.compress.DefaultCodecmapper输出企业多使用LZO或Snappy编解码器在此阶段压缩数据
mapreduce.output.fileoutputformat.compress（在mapred-site.xml中配置）falsereducer输出这个参数设为true启用压缩
mapreduce.output.fileoutputformat.compress.codec（在mapred-site.xml中配置）org.apache.hadoop.io.compress.DefaultCodecreducer输出使用标准工具或者编解码器，如gzip和bzip2

5、压缩实操案例

5.1 Map输出端采用压缩

即使你的MapReduce的输入输出文件都是未压缩的文件，你仍然可以对Map任务的中间结果输出做压缩，因为它要写在硬盘并且通过网络传输到Reduce节点，对其压缩可以提高很多性能，这些工作只要设置两个属性即可，我们来看下代码怎么设置。

1）给大家提供的Hadoop源码支持的压缩格式有：BZip2Codec、DefaultCodec

package com.chif.mapreduce.compress;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.io.compress.BZip2Codec;
import org.apache.hadoop.io.compress.CompressionCodec;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

import java.io.IOException;


public class WordCountDriver {

    public static void main(String[] args) throws IOException, ClassNotFoundException, InterruptedException {

        //1 获取配置信息以及获取job对象
        Configuration conf = new Configuration();
        //指定hadoop运行时在本地的临时工作目录
        conf.set("hadoop.tmp.dir", "D:/tmp/mapreduce_tmp_cache");

        //开启map端输出压缩
        conf.setBoolean("mapreduce.map.output.compress",true);

        //设置map端输出压缩方式
        conf.setClass("mapreduce.map.output.compress.codec", BZip2Codec.class, CompressionCodec.class);

        Job job = Job.getInstance(conf);

        //2 关联本Driver程序的jar
        job.setJarByClass(WordCountDriver.class);

        //3 关联Mapper和Reduce的class
        job.setMapperClass(WordCountMapper.class);
        job.setReducerClass(WordCountReducer.class);

        //4 设置Mapper输出的kv类型
        job.setMapOutputKeyClass(Text.class);
        job.setMapOutputValueClass(IntWritable.class);

        // 5 设置最终输出kv类型
        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(IntWritable.class);


        //6 设置输入和输出路径
        FileInputFormat.setInputPaths(job,new Path("C:\\Users\\Chef Liu\\Desktop\\Big\\hadoop\\input4"));
        FileOutputFormat.setOutputPath(job,new Path("C:\\Users\\Chef Liu\\Desktop\\Big\\hadoop\\output"));

        //设置reduce端输出压缩开启
        FileOutputFormat.setCompressOutput(job,true);

        //设置压缩的方式
        FileOutputFormat.setOutputCompressorClass(job, BZip2Codec.class);

        //7 提交job
        boolean result = job.waitForCompletion(true);

        System.exit(result ? 0 : 1);
    }
}

2）Mapper保持不变

package com.chif.mapreduce.compress;

import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;

import java.io.IOException;

public class WordCountMapper extends Mapper<LongWritable, Text,Text, IntWritable> {

    //懒汉式
    Text k = new Text();
    IntWritable v = new IntWritable(1);

    /**
     * map()方法(MapTask进程)对每一个<K,V>调用一次
     * @param key
     * @param value
     * @param context
     * @throws IOException
     * @throws InterruptedException
     */
    @Override
    protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {

        //1 获取一行
        String line = value.toString();

        //2 切割
        String[] words = line.split(" ");

        //3 输出
        for (String word : words) {
            k.set(word);
            context.write(k,v);
        }

    }
}

3）Reducer保持不变

package com.chif.mapreduce.compress;

import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Reducer;

import java.io.IOException;

public class WordCountReducer extends Reducer<Text, IntWritable,Text,IntWritable> {

    //懒汉式
    int sum;
    IntWritable v=new IntWritable();

    /**
     * ReduceTask进程对每一组相同k的<k,v>调用一次reduce()方法
     * @param key
     * @param values
     * @param context
     * @throws IOException
     * @throws InterruptedException
     */
    @Override
    protected void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException {

        //1 累加求和
        sum=0;
        for (IntWritable count : values) {
            sum+=count.get();
        }

        //2 输出
        v.set(sum);
        context.write(key,v);
    }
}

5.2 Reduce输出端采用压缩

基于WordCount案例处理。

1）修改驱动

package com.chif.mapreduce.compress;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.io.compress.BZip2Codec;
import org.apache.hadoop.io.compress.CompressionCodec;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

import java.io.IOException;


public class WordCountDriver {

    public static void main(String[] args) throws IOException, ClassNotFoundException, InterruptedException {

        //1 获取配置信息以及获取job对象
        Configuration conf = new Configuration();
        //指定hadoop运行时在本地的临时工作目录
        conf.set("hadoop.tmp.dir", "D:/tmp/mapreduce_tmp_cache");

        //开启map端输出压缩
        conf.setBoolean("mapreduce.map.output.compress",true);

        //设置map端输出压缩方式
        conf.setClass("mapreduce.map.output.compress.codec", BZip2Codec.class, CompressionCodec.class);

        Job job = Job.getInstance(conf);

        //2 关联本Driver程序的jar
        job.setJarByClass(WordCountDriver.class);

        //3 关联Mapper和Reduce的class
        job.setMapperClass(WordCountMapper.class);
        job.setReducerClass(WordCountReducer.class);

        //4 设置Mapper输出的kv类型
        job.setMapOutputKeyClass(Text.class);
        job.setMapOutputValueClass(IntWritable.class);

        // 5 设置最终输出kv类型
        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(IntWritable.class);


        //6 设置输入和输出路径
        FileInputFormat.setInputPaths(job,new Path("C:\\Users\\Chef Liu\\Desktop\\Big\\hadoop\\input4"));
        FileOutputFormat.setOutputPath(job,new Path("C:\\Users\\Chef Liu\\Desktop\\Big\\hadoop\\output"));

        //设置reduce端输出压缩开启
        FileOutputFormat.setCompressOutput(job,true);

        //设置压缩的方式
        FileOutputFormat.setOutputCompressorClass(job, BZip2Codec.class);

        //7 提交job
        boolean result = job.waitForCompletion(true);

        System.exit(result ? 0 : 1);
    }
}

2）Mapper和Reducer保持不变

Hadoop数据压缩与数据存储优化
AI天才研究院
07-16 778
1. 背景介绍 1.1 问题的由来 在大数据时代，数据量的爆炸性增长对数据存储和处理提出了巨大的挑战。Hadoop作为一个开源的分布式计算框架，能够有效地处理大规模数据，但是随着数据量的增长，存储和处理数据的成本也在不断增加。为了降低这些成本，数据压缩和数据存储优化成为了必要的手段。
Hadoop 数据压缩
程序员学习圈
07-08 387
1.概述    压缩技术能够有效减少底层存储系统（HDFS）读写字节数。压缩提高了网络带宽和磁盘空间的效率。在Hadoop下，尤其是数据规模很大和工作负载密集的情况下，使用数据压缩显得非常重要。在这种情况下，I/O操作和网络数据传输要花大量的时间。还有，Shuffle与Merge过程同样也面临着巨大的I/O压力。    鉴于磁盘I/O和网络带宽是Hadoop的宝贵资源，数据压缩对于节省资源、最小化...
hadoop压缩包
12-15
此资源为在window上安装hadoop所需要的压缩包，通过将其解压，安装hadoop，此版本为2.7.2喔！
Hadoop数据压缩和压缩案例实操
最新发布
weixin_63257947的博客
05-25 917
Hadoop数据压缩是一种通过特定的算法来减小计算机文件大小的机制。这种机制在Hadoop中尤其重要，因为它可以有效减少底层存储系统（如HDFS）的读写字节数，从而提高网络带宽和磁盘空间的效率。在运行MapReduce程序时，尤其是在数据规模很大和工作负载密集的情况下，IO操作、网络数据传输、Shuffle和Merge等过程会花费大量的时间，因此数据压缩显得尤为重要。在Hadoop中，压缩可以在MapReduce的任意阶段启用。对于运算密集型的job，建议少用压缩以减少CPU开销；
【Hadoop篇08】Hadoop数据压缩1
08-04
Hadoop数据压缩技术 Hadoop数据压缩是指在Hadoop系统中对数据进行压缩，以减少存储空间和提高数据传输速度。压缩技术能够有效减少底层存储系统（HDFS）读写字节数，提高网络带宽和磁盘空间的效率。在 Hadoop下，...
第四章 Hadoop数据压缩
留不住斜阳的博客
06-16 746
hadoop压缩
【Hadoop】Hadoop数据压缩
懂得一千零一种,赋予你失败的方法！
01-04 703
文章目录一、压缩概述二、压缩策略和原则三、MR支持的压缩编码四、压缩方式选择☼ Gzip压缩☼ Bzip2压缩☼Lzo压缩☼ Snappy压缩五、压缩位置选择六、压缩参数配置☼ 输入阶段☼ Mapper输出阶段☼ Reducer输出阶段七、压缩实操案例☼ 数据流的压缩和解压缩压缩案例 ---- org.apache.hadoop.io.compress.BZip2Codec压缩案例 ---- org.apache.hadoop.io.compress.GzipCodec压缩案例 ---- org.apa..
MapReduce学习整理（3）——压缩篇
博客写的好晚上睡得早
05-27 259
压缩技术能够有效减少底层存储系统（HDFS）读写字节数。压缩提高了网络带宽和磁盘空间的效率。在Hadoop下，尤其是数据规模很大和工作负载密集的情况下，使用数据压缩显得非常重要。在这种情况下，I/O操作和网络数据传输要花大量的时间。还有，Shuffle 与Merge过程同样也面临着巨大的I/O压力。
Hadoop压缩方式
Gavin
09-17 2911
讨论用于优化MapReduce程序的I/O性能的数据压缩方式
Hadoop数据压缩优化：原理与策略
在Hadoop数据处理中，数据压缩是一种关键的优化手段，特别是在处理大规模数据和高负载任务时。Hadoop本身提供了一定程度的支持，包括内置的压缩算法和相应的编码/解码器。常见的压缩格式有： 1. **DEFLATE**：...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值