十八 Reduce Join

最新推荐文章于 2023-12-22 12:42:29 发布
原创 最新推荐文章于 2023-12-22 12:42:29 发布 · 304 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#mapreduce #大数据 #hadoop #Reduce Join

Reduce Join通过在Map阶段标记数据来源，Reduce阶段按连接字段分组并合并不同表记录。实例展示了如何处理商品信息与订单数据的Join。然而，这种方式可能导致Reduce端处理压力大、数据倾斜，解决方案是尝试Map端数据合并。

文章目录

1 Reduce Join工作原理

Map端的主要工作：为来自不同表或文件的key/value对，打标签以区别不同来源的记录。然后用连接字段作为key，其余部分和新加的标志作为value，最后进行输出。
Reduce端的主要工作：在Reduce端以连接字段作为key的分组已经完成，我们只需要在每一个分组当中将那些来源于不同文件的记录(在Map阶段已经打标志)分开，最后进行合并就ok了。

2 实例

1．需求

idpidamount
1001011
1002022
1003033
1004014
1005025
1006036
pidpname
01小米
02华为
03格力

将商品信息表中数据根据商品pid合并到订单数据表中。

idpnameamount
1001小米1
1004小米4
1002华为2
1005华为5
1003格力3
1006格力6

2．需求分析
通过将关联条件作为Map输出的key，将两表满足Join条件的数据并携带数据所来源的文件信息，发往同一个ReduceTask，在Reduce中进行数据的串联.

思路:
把两个文件全部读到map,并且封装到结构体中,使用二次排序,先排pid,如果pid相同,把有名字的排在最前面,通过pid分组,如果pid一样分到同一个组内,组内来自商品的数据排在第一行,然后遍历后面的数据,把第一行的pname join到后面的数据中.

  1. 代码
    ReduceDriver 类
package com.reducejoin;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

import java.io.IOException;

/**
 * @author andy
 * @version 1.0
 * @date 2020/3/3 0:44
 * @contact andy.freedoms@gmail.com
 * @since JDK 1.8
 */
public class ReduceDriver {
    public static void main(String[] args) throws IOException, ClassNotFoundException, InterruptedException {
        if (args == null || args.length < 2)
            args = new String[]{"E:\\temp\\input\\reducejoin", "E:\\temp\\output"};
        Path path = new Path(args[1]);
        Configuration conf = new Configuration();
        FileSystem fs = path.getFileSystem(conf);
        Job job = Job.getInstance(conf);


        try {
            if (fs.exists(path))
                fs.delete(path, true);
        } catch (IllegalArgumentException e) {
            e.printStackTrace();
        } finally {
            fs.close();
        }


        job.setJarByClass(ReduceDriver.class);
        job.setMapperClass(MyReduceJoinMapper.class);
        job.setReducerClass(MyReduceReducer.class);

        job.setMapOutputKeyClass(ReduceBean.class);
        job.setMapOutputValueClass(NullWritable.class);

        job.setOutputKeyClass(ReduceBean.class);
        job.setOutputValueClass(NullWritable.class);

        job.setGroupingComparatorClass(MyGroup.class);

        FileInputFormat.setInputPaths(job, args[0]);
        FileOutputFormat.setOutputPath(job, path);

        boolean b = job.waitForCompletion(true);

        System.exit(b ? 0 : 1);
    }
}

ReduceBean 类

package com.reducejoin;

import org.apache.hadoop.io.WritableComparable;

import java.io.DataInput;
import java.io.DataOutput;
import java.io.IOException;

/**
 * @author andy
 * @version 1.0
 * @date 2020/3/2 23:54
 * @contact andy.freedoms@gmail.com
 * @since JDK 1.8
 */
public class ReduceBean implements WritableComparable<ReduceBean> {
    private int id;
    private String pid;
    private int amount;
    private String pname;

    public ReduceBean() {
    }

    public int getId() {
        return id;
    }

    public void setId(int id) {
        this.id = id;
    }

    public String getPid() {
        return pid;
    }

    public void setPid(String pid) {
        this.pid = pid;
    }

    public int getAmount() {
        return amount;
    }

    public void setAmount(int amount) {
        this.amount = amount;
    }

    public String getPname() {
        return pname;
    }

    public void setPname(String pname) {
        this.pname = pname;
    }

    public void set(int id,String pid,int amount,String pname){
        setId(id);
        setPid(pid);
        setAmount(amount);
        setPname(pname);
    }

    @Override
    public int compareTo(ReduceBean o) {
        int result = this.pid.compareTo(o.getPid());
        if(result == 0){
            result = o.getPname().compareTo(this.pname);
        }
        return result;
    }

    @Override
    public void write(DataOutput out) throws IOException {
        out.writeInt(id);
        out.writeUTF(pid);
        out.writeInt(amount);
        out.writeUTF(pname);
    }

    @Override
    public void readFields(DataInput in) throws IOException {
        id = in.readInt();
        pid = in.readUTF();
        amount = in.readInt();
        pname = in.readUTF();
    }

    @Override
    public String toString() {
        return id + "\t" + pid + "\t" + amount + "\t" + pname ;
    }
}

MyReduceJoinMapper 类

package com.reducejoin;

import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.InputSplit;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.lib.input.FileSplit;

import java.io.IOException;

/**
 * @author andy
 * @version 1.0
 * @date 2020/3/2 23:53
 * @contact andy.freedoms@gmail.com
 * @since JDK 1.8
 */
public class MyReduceJoinMapper extends Mapper<LongWritable, Text,ReduceBean, NullWritable> {

    private String name;
    ReduceBean k = new ReduceBean();
    NullWritable v = NullWritable.get();

    @Override
    protected void setup(Context context) throws IOException, InterruptedException {
        FileSplit split = (FileSplit)context.getInputSplit();
        name = split.getPath().getName();

    }

    @Override
    protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
        String[] line = value.toString().split("\t");
        if ("order.txt".equals(name)) {
            k.set(Integer.parseInt(line[0]),line[1],Integer.parseInt(line[2])," ");
        } else {
            k.set(0,line[0],0,line[1]);
        }
        context.write(k, v);
    }
}

MyReduceReducer 类

package com.reducejoin;

import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.mapreduce.Reducer;

import java.io.IOException;
import java.util.Iterator;

/**
 * @author andy
 * @version 1.0
 * @date 2020/3/3 0:23
 * @contact andy.freedoms@gmail.com
 * @since JDK 1.8
 */
public class MyReduceReducer extends Reducer<ReduceBean, NullWritable,ReduceBean, NullWritable> {

    @Override
    protected void reduce(ReduceBean key, Iterable<NullWritable> values, Context context) throws IOException, InterruptedException {
        Iterator<NullWritable> iterator = values.iterator();
        iterator.next();
        String pname = key.getPname();

        while (iterator.hasNext()){
            iterator.next();
            key.setPname(pname);
            context.write(key, NullWritable.get());
        }
    }
}

MyGroup 类

package com.reducejoin;

import org.apache.hadoop.io.WritableComparable;
import org.apache.hadoop.io.WritableComparator;

/**
 * @author andy
 * @version 1.0
 * @date 2020/3/3 0:33
 * @contact andy.freedoms@gmail.com
 * @since JDK 1.8
 */
public class MyGroup extends WritableComparator {
    public MyGroup() {
        super(ReduceBean.class, true);
    }

    @Override
    public int compare(WritableComparable a, WritableComparable b) {
        ReduceBean o1 = (ReduceBean)a;
        ReduceBean o2 = (ReduceBean)b;

        return o1.getPid().compareTo(o2.getPid());
    }
}

3 Reduce Join缺点及解决方案

缺点：这种方式中，合并的操作是在Reduce阶段完成，Reduce端的处理压力太大，Map节点的运算负载则很低，资源利用率不高，且在Reduce阶段极易产生数据倾斜。

解决方案：Map端实现数据合并

reduce的join
qq_27347421的博客
02-03 566
reduce-join join过程在reduce端进行 join将两个表中相同的id的数据拼接在一起 拼接的过程在reduce端进行 a:1 zs b:1 45 想在reduce端拼接这个数据 保证reduce端能够接受到的数据中a:1 zs b:1 45在一组 相同的关联键的数据被分到一组 map端key：两个表的关联键 reduce端接受的数据相同关联建的两个表中的数...
Reduce Join介绍及案例
一入大数据深似海?别怕!“数据极客圈”就是你的救生圈，走对圈子跟对人，趣析数据、畅聊趋势，快进圈子!
07-16 1404
Reduce Join介绍及案例Reduce Join介绍Reduce Join案例需求1.需求说明2.文件案例分析1.需求分析2.输入数据3.期望输出数据4.MapTask5. ReduceTask代码实现1.创建商品和订单合并后的Bean类2.编写TableMapper类3.编写TableReducer类4. 编写TableDriver类结果截图 Reduce Join介绍 Map端的主要工作:为来自不同表或文件的key/value对，打标签以区别不同来源的记录。然后用连接字段作为key，其余部分和新加
MapReduce编程：Join应用
zn2021220822的博客
12-22 680
Reduce Join Map Join Map 端的主要工作：为来自不同表或文件的key/value 对，打标签以区别不同来源的记录。然后用连接字段作为key，其余部分和新加的标志作为value，最后进行输出。 Reduce 端的主要工作：在Reduce 端以连接字段作为key 的分组已经完成，只需要在每一个分组当中将那些来源于不同文件的记录（在Map 阶段已经打标志）分开，最后进行合并就可以。
Reduce Join案例实操
mischen520的博客
05-22 293
Map端的主要工作：为来自不同表或文件的key/value对，打标签以区别不同来源的记录。然后用连接字段作为key，其余部分和新加的标志作为value，最后进行输出。 Reduce端的主要工作：在Reduce端以连接字段作为key的分组已经完成，我们只需要在每一个分组当中将那些来源于不同文件的记录（在Map阶段已经打标志）分开，最后进行合并就ok了。 代码实现 （1）创建商品和订单合并后的TableBean类 package com.mischen.mapreduce.wordco
reduceJoin
Harden_zsc的博客
11-09 234
map类： public class MapperJoin extends Mapper<LongWritable, Text, Text, Text> { @Override protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException { FileSplit inputSplit = (FileSplit) context.getInputS
【MapReduce篇06】MapReduce之MapJoin和ReduceJoin1
08-04
MapReduce之MapJoin和ReduceJoin MapReduce是一种分布式计算模型，广泛应用于大数据处理和分析领域。其中，Join操作是 MapReduce 中的一种基本操作，用于连接来自不同数据源的数据。今天，我们将讲解 MapReduce 之 ...
19、Join操作map side join 和 reduce side join
05-29
本文主要探讨了两种 MapReduce 中的 Join 实现：Map Side Join 和 Reduce Side Join。 一、Join 的概念 Join 操作在数据库中是非常常见的，它用于将来自两个或更多表的数据根据某些共享字段（即键）关联起来。在 ...
Map Join与Reduce Join
weixin_49063354的博客
08-12 278
Join多种应用 1.Reduce Join 1.1.Reduce Join工作原理 ​ Map端的主要工作，为来之不同表或文件的key/value对，打标签以区别不同来源的记录。然后用连接字段作为key，其余部分和新加的标志作为value，最后进行输出。 Reduce端的主要工作：在Reduce端以连接字段作为key的分组已经完成，我们只需要在每一个分组当中将那些来源于不同文件的记录（在Map阶段依据打标志分开），最后进行合并就OK了。 1.2.Reduc Join案例实操 ​ 需求 ​ 订单数据表o
【MapReduce】Map Join和Reduce Join
HR的博客
04-07 1542
Map Join和Reduce Join俩种Join的介绍MapReduce JoinReduce JoinMap Join数据Reduce Join自定义类Mapper阶段Reduce阶段Driver阶段结果Map JoinMapper阶段Driver阶段结果 俩种Join的介绍 MapReduce Join 对两份数据data1和data2进行关键词连接是一个很通用的问题。 如果数据量比较小，完全可以在内存中完成连接；如果数据量比较大，在内存进行连接操会发生内存溢出（OOM）。那么此时就可以用 Map
reducejoin
weixin_42898914的博客
12-10 252
public class TableBean implements Writable{         //封装对应字段         private String order_id;         private String pid;         private int amount;         private String pname;         private Stri...
Hadoop——ReduceJoin
d_l_w_d_l_w的博客
09-06 321
首先先说一下今天发现的一个之前一直理解错的一个问题： 之前学习过wordcount的案例，它是在map阶段输入a a a 这样一行出现了3个a单词以\t进行划分，然后以<a,1>这样的三个键值对作为reduce阶段的输入，每一次的reduce阶段接受相同的key的键值对，然后以for循环的形式进行累加达到wordcount的目的。当然在for循环之前需要定义一个sum变量用以计量每一个传入的键有多少次，这个例子在reduce阶段完成之后的输出是<a,3>。然后在今天学习reduce
reduce 端的join
数据丁的博客
10-23 559
a表: id name age b表： id course sex a和b的join select * form a join b on a.id = b.id reduce 端的join就是join过程在reduce端做 伪代码 public class ReduceJoin{ static class MyMapper extends Mapper&amp;amp;lt;&amp;amp;gt;&amp;amp;lt;&amp;amp;gt;
17,reducejoin
开水烫鱼的博客
11-25 154
需求：将对应商品表的id换成对应的名字 数据: 和上一节的order pd 一样
mapreduce之reducejoin
会飞的鱼
01-13 313
有两个文件 pd.txt 01 mac 02 huawei 03 xiaomi 第一列是订单id，第二列是商品名称 order.txt 201801 01 1 201802 02 2 201803 03 3 201804 01 4 201805 02 5 201806 03 6 第一列是时间戳，第二列是订单id，第三列是数量 这两个文件都在一个文件中 需要处理后输出结果是 订单id 商品名称 数量...
reduce端join操作
张波的技术积累
01-02 1042
实例：输入是两个文件，一个代表工厂表，包含工厂名列和地址编号列；另一个代表地址表，包含地址名列和地址编号列，要求从输入数据中找出工厂名和 地址名的对应关系，输出工厂名-地址名表 数据样本   图：factory    图：address   图：输出结果 package com.ccse.hadoop.join; import java.io.IOEx
hadoop--Reduce Join
FunnyPrince_的博客
09-11 337
。。。
Map/Reduce中Join查询实现
dajuezhao的专栏
10-25 5911
一、背景 早在8月份的时候，我就做了一些MR的Join查询，但是发现回北京之后，2个月不用，居然有点生疏，所以今天早上又花时间好好看了一下，顺便写下这个文档，以供以后查阅。 二、环境 JDK 1.6、Linux操作系统、hadoop0.20.2 三、资料数据 在做这个J
Reduce 端实现 JOIN
Xiaoweidumpb
10-25 207
2.1. 需求 假如数据量巨大，两表的数据是以文件的形式存储在 HDFS 中, 需要用 MapReduce 程序来实现以下 SQL 查询运算 select a.id,a.date,b.name,b.category_id,b.price from t_order a left join t_product b on a.pid = b.id 商品表 id pname category_id price P0001 小米5 1000 2000 P0002 锤子T1 1000 30.
Reduce端实现Join算法
大数据流浪法师的学习笔记与分享
11-28 408
Reduce端实现Join算法 数据 链接：https://pan.baidu.com/s/1DAXmP9cskwXB5uNSA0bugA 提取码：2zn8 order.txt 格式： 日期\t商品id\t下单日期 2019-11-11 200300500 201911110101 2019-11-11 200300505 201911110102 2019-11-11 200300550 201...
Hadoop中实现Map Join与Reduce Join的代码解析
本文将详细介绍Hadoop中的Join操作，包括Map Join和Reduce Join两种实现方式，并提供代码示例。通过手工编写MapReduce程序来实现连接，能够更好地理解Join操作在Hadoop中的实际执行过程。 ### Map Join原理及实现 ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值