MapReduce程序中在reduce端进行join

最新推荐文章于 2022-06-02 09:13:42 发布
原创 最新推荐文章于 2022-06-02 09:13:42 发布 · 349 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#MapReduce

本文介绍了一种使用Hadoop MapReduce实现的RJoin算法，该算法能够有效地合并两个表中的数据。通过自定义InfoBean类来封装订单表和产品信息表的数据，并在Map阶段将数据按PID分组，在Reduce阶段完成数据的整合。

合并两个表的数据：

 

代码如下所示：

RJoin 类实现map函数和reduce函数，并进行数据的整合处理

package com.jym.hadoop.mr.rjoin;

import java.io.IOException;
import java.lang.reflect.InvocationTargetException;
import java.util.ArrayList;
import org.apache.commons.beanutils.BeanUtils;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.input.FileSplit;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;


public class RJoin {
  
    static class RJoinMapper extends Mapper<LongWritable, Text, Text, InfoBean>
    {
        InfoBean bean = new InfoBean();
        Text k = new Text();
        
        @Override
        protected void map(LongWritable key, Text value,Context context) throws IOException, InterruptedException 
        {
            String line = value.toString();
            
            FileSplit inputSplit = (FileSplit) context.getInputSplit();
            String name = inputSplit.getPath().getName();
            
            String pid = "";
            //通过文件名判断是哪种数据,在进行数据切分操作
            if (name.startsWith("order")) 
            {
                String[] fields = line.split(",");
                pid = fields[2];
                //id   date   pid   amount
                bean.set(Integer.parseInt(fields[0]),fields[1], fields[2], Integer.parseInt(fields[3]), "", 0, 0, "0");
            }else 
            {
                String[] fields = line.split(",");
                pid = fields[0];
                bean.set(0,"",pid,0,fields[1],Integer.parseInt(fields[2]),Float.parseFloat(fields[3]),"1");
            }    
            
            k.set(pid);
            context.write(k, bean);
        }
    }
    
    static class RJoinReducer extends Reducer<Text, InfoBean, InfoBean, NullWritable>
    {
        InfoBean pdBean = new InfoBean();
        ArrayList<InfoBean> orderBeans = new ArrayList<>();
        
        @Override
        protected void reduce(Text pid, Iterable<InfoBean> beans,Context context) throws IOException, InterruptedException 
        {
            for(InfoBean bean : beans)
            {
                if ("1".equals(bean.getFlag())) 
                {
                    try 
                    {
                        BeanUtils.copyProperties(pdBean,bean);
                    } catch (IllegalAccessException e) {
                        e.printStackTrace();
                    } catch (InvocationTargetException e) {
                        e.printStackTrace();
                    }
                }else 
                {
                    InfoBean odBean = new InfoBean();
                    try 
                    {
                        BeanUtils.copyProperties(odBean,bean);
                        orderBeans.add(odBean);
                    } catch (IllegalAccessException e) 
                    {
                        e.printStackTrace();
                    } catch (InvocationTargetException e) 
                    {
                        e.printStackTrace();
                    }
                }
            }
            
            //拼接两类数据形成最终结果
            for(InfoBean bean:orderBeans)
            {
                bean.setPname(pdBean.getPname());
                bean.setCategory_id(pdBean.getCategory_id());
                bean.setPrice(pdBean.getPrice());
                
                context.write(bean, NullWritable.get());
            }
        }
    }
    
    public static void main(String[] args) throws IOException, ClassNotFoundException, InterruptedException
    {
        Configuration conf=new Configuration();
        Job job = Job.getInstance(conf);
        
        //指定本程序的jar包所在的本地路径
        job.setJarByClass(RJoin.class);
        
        //指定本业务job要使用的mapper/reducer业务类
        job.setMapperClass(RJoinMapper.class);
        job.setReducerClass(RJoinReducer.class);
        
        //指定mapper输出数据的kv类型；
        job.setMapOutputKeyClass(Text.class);
        job.setMapOutputValueClass(InfoBean.class);
        
        //指定最终输出的数据的kv类型
        job.setOutputKeyClass(InfoBean.class);
        job.setOutputValueClass(NullWritable.class);
        
        //指定job的输入原始文件所在目录
        //FileInputFormat.setInputPaths(job, new Path(args[0]));                                                //传一个路径参数
        FileInputFormat.setInputPaths(job, new Path("G:/wordcount/mapreduce/input"));          //传一个路径

        //指定job的输出结果所在目录
        //FileOutputFormat.setOutputPath(job, new Path(args[1]));         //传一个参数进来作为输出的路径参数
        FileOutputFormat.setOutputPath(job, new Path("G:/wordcount/mapreduce/output"));         //传一个参数进来作为输出的路径参数

        //将job中配置的相关参数，以及job所用的Java类所在的jar包，提交给yarn去运行；
        boolean res = job.waitForCompletion(true);
        System.exit(res?0:1);
    }
}
 

 

InfoBean类作为一种自定义的数据结构(需要继承接口Writable)： 

package com.jym.hadoop.mr.rjoin;

import java.io.DataInput;
import java.io.DataOutput;
import java.io.IOException;

import org.apache.hadoop.io.Writable;

public class InfoBean implements Writable
{
    private int order_id;              //订单id
    private String dateString;
    private String p_id;
    private int amount;
    private String pname;
    private int category_id;
    private float price;
    
    //flag=0表示这个对象是封装->订单表记录
    //flag=1表示这个对象是封装->产品信息记录
    private String flag;
    
    public InfoBean() { }
    
    public void set(int order_id,String dateString,String p_id,int amount,String pname,int category_id,float price,String flag)
    {
        this.order_id = order_id;
        this.dateString = dateString;
        this.p_id = p_id;
        this.amount = amount;
        this.pname=pname;
        this.category_id = category_id;
        this.price = price;
        this.flag=flag;
    }
    
    public void setFlag(String flag) 
    {
        this.flag = flag;
    }

    public String getFlag() 
    {
        return flag;
    }
    
    public void setPrice(float price) 
    {
        this.price = price;
    }
    
    public float getPrice() 
    {
        return price;
    }
    
    public void setAmount(int amount) 
    {
        this.amount = amount;
    }
    
    public int getAmount() {
        return amount;
    }
    
    public void setCategory_id(int category_id) {
        this.category_id = category_id;
    }
    
    public int getCategory_id() {
        return category_id;
    }
    
    public void setPname(String pname) {
        this.pname = pname;
    }
    
    public String getPname() {
        return pname;
    }
    
    public void setP_id(String p_id) {
        this.p_id = p_id;
    }
    
    public String getP_id() {
        return p_id;
    }
    
    public void setOrder_id(int order_id) {
        this.order_id = order_id;
    }
    public int getOrder_id() {
        return order_id;
    }
    public void setDateString(String dateString) {
        this.dateString = dateString;
    }
    public String getDateString() {
        return dateString;
    }
    

     /**实现接口Writable接口的两个序列化方法*/
    @Override
    public void readFields(DataInput in) throws IOException 
    {
        this.order_id = in.readInt();
        this.dateString = in.readUTF();
        this.p_id = in.readUTF();
        this.amount = in.readInt();
        this.pname = in.readUTF();
        this.category_id = in.readInt();
        this.price = in.readFloat();
        this.flag = in.readUTF();
    }
    @Override
    public void write(DataOutput out) throws IOException 
    {
        out.writeInt(order_id);
        out.writeUTF(dateString);
        out.writeUTF(p_id);
        out.writeInt(amount);
        out.writeUTF(pname);
        out.writeInt(category_id);
        out.writeFloat(price);
        out.writeUTF(flag);
    }
    
    @Override
    public String toString() 
    {
        return "order_id="+order_id+", dateString="+dateString+", p_id="+p_id+", amount="+amount+", pname="+pname+", category_id="+category_id+", price="+price+", flag="+flag;
    }
}
 

 

测试数据：

测试结果：

Hadoop3.x中MapReduce实现Reduce端join案例
QYHuiiQ
07-31 426
有两个表，一个表是员工表（eid，name，deptid），另一个表是部门表（deptid，dept），想要实现的功能是经过reduce之后最后输出的是一个将员工表中的deptid替换为部门表中的dept的一个表（eid，name，dept），连个表之间通过deptid进行join。在数据库中我们经常会遇到一些业务场景需要将多个表进行join实现某些特定的业务逻辑，在MapReduce中也可以实现join，这个join功能可以是在map端也可以是在reduce端。...
【MapReduce】Map Join和Reduce Join
HR的博客
04-07 1545
Map Join和Reduce Join俩种Join的介绍MapReduce JoinReduce JoinMap Join数据Reduce Join自定义类Mapper阶段Reduce阶段Driver阶段结果Map JoinMapper阶段Driver阶段结果 俩种Join的介绍 MapReduce Join 对两份数据data1和data2进行关键词连接是一个很通用的问题。 如果数据量比较小，完全可以在内存中完成连接；如果数据量比较大，在内存进行连接操会发生内存溢出（OOM）。那么此时就可以用 Map
MapReduce 实现 InnerJoin 操作： 在Reduce端实现Join
再见孙悟空
08-03 1746
InnerJoin表1 DEP.txt： （去除第一行列名） ID 地名 1 北京 2 天津 3 河北 4 山西 5 内蒙古 6 辽宁 7 吉林 8 黑龙江表2 EMP.txt ： （去除第一行列名）ID 年份 数量 1 2010 1962
reduce的join
qq_27347421的博客
02-03 567
reduce-join join过程在reduce端进行 join将两个表中相同的id的数据拼接在一起 拼接的过程在reduce端进行 a:1 zs b:1 45 想在reduce端拼接这个数据 保证reduce端能够接受到的数据中a:1 zs b:1 45在一组 相同的关联键的数据被分到一组 map端key：两个表的关联键 reduce端接受的数据相同关联建的两个表中的数...
Mapreduce实例（五）：Reduce端join
Bee_Darker的博客
06-02 402
任务目标 1.了解reduce端join的适用场景 2.准确理解reduce端join的设计原理 3.熟练掌握reduce端join程序代码的编写
MapReduce编程之Reduce Join多种应用场景与使用
weixin_30877227的博客
08-13 296
在关系型数据库中 Join 是非常常见的操作，各种优化手段已经到了极致。在海量数据的环境下，不可避免的也会碰到这种类型的需求， 例如在数据分析时需要连接从不同的数据源中获取到数据。不同于传统的单机模式，在分布式存储下采用 MapReduce 编程模型，也有相应的处理措施和优化方法。 我们先简要地描述待解决的问题。假设有两个数据集：气象站数据库和天气记录数据库，并考虑如何合二为一。一个典型的查询是...
reduce 端的join
数据丁的博客
10-23 559
a表: id name age b表： id course sex a和b的join select * form a join b on a.id = b.id reduce 端的join就是join过程在reduce端做 伪代码 public class ReduceJoin{ static class MyMapper extends Mapper&amp;amp;lt;&amp;amp;gt;&amp;amp;lt;&amp;amp;gt;
【MapReduce篇06】MapReduce之MapJoin和ReduceJoin1
08-04
ReduceJoin 的优点是可以处理大量的数据，但是，ReduceJoin 也存在一些缺点，例如，需要在 Reduce 阶段进行大量的数据处理，可能会导致计算性能下降。 MapReduce 之 MapJoin 和 ReduceJoin 的应用场景 MapJoin 和 ...
ReduceSideJoin:MapReduce 程序实现Reduce 侧连接技术
06-07
MapReduce 程序来实现减少边连接技术。 ##Data set 描述：Book-Crossing 数据集由 2 个表组成。 ##BX-Books：它为我们提供了有关书籍的详细信息，例如书名、书籍作者、出版年份、出版商、图像 URL 和 ISBN。 在...
MapReduce端Join操作（Map端join、Reduce端join）
zp17834994071的博客
06-08 796
map端join 指有两种表，只是一张较小，一张较大（一般大于1万条数据），大表的信息完全可以覆盖小表，往往将较小的表以键值对的形式添加到内存中，，然后只扫描大表：对于大表中的每一条记录key/value，在小表中查找是否有相同的key的记录，如果有，则连接后输出即可。 Map端join是数据到达map处理函数之前进行合并的，效率要远远高于Reduce端join，因为Reduce端join是把所有的数据都经过Shuffle，非常消耗资源。所以一般都用Map端join。 操作流程 1.以键值对形式存储小表信息
Reduce 端实现 JOIN
Xiaoweidumpb
10-25 210
2.1. 需求 假如数据量巨大，两表的数据是以文件的形式存储在 HDFS 中, 需要用 MapReduce 程序来实现以下 SQL 查询运算 select a.id,a.date,b.name,b.category_id,b.price from t_order a left join t_product b on a.pid = b.id 商品表 id pname category_id price P0001 小米5 1000 2000 P0002 锤子T1 1000 30.
Reduce端实现Join算法
大数据流浪法师的学习笔记与分享
11-28 411
Reduce端实现Join算法 数据 链接：https://pan.baidu.com/s/1DAXmP9cskwXB5uNSA0bugA 提取码：2zn8 order.txt 格式： 日期\t商品id\t下单日期 2019-11-11 200300500 201911110101 2019-11-11 200300505 201911110102 2019-11-11 200300550 201...
reduce端join操作
张波的技术积累
01-02 1044
实例：输入是两个文件，一个代表工厂表，包含工厂名列和地址编号列；另一个代表地址表，包含地址名列和地址编号列，要求从输入数据中找出工厂名和 地址名的对应关系，输出工厂名-地址名表 数据样本   图：factory    图：address   图：输出结果 package com.ccse.hadoop.join; import java.io.IOEx
MapReduce中的join算法-reduce端join
欲望以提升热忱 毅力以磨平高山
05-10 5099
在海量数据的环境下，不可避免的会碰到join需求， 例如在数据分析时需要连接从不同的数据源中获取到数据。 假设有两个数据集：气象站数据库和天气记录数据库，并考虑如何合二为一。 一个典型的查询是：输出气象站的历史信息，同时各行记录也包含气象站的元数据信息。 气象站和天气记录的示例数据分别如下所示: Station ID            Station Name 011
Mapreduce实例（九）：Reduce端join
笑看风云路的博客
06-02 499
MR实现Reduce端join
mapreduce实例-Join连接 (reduce Side Join)
897371388
09-05 152
public class ReduceSideJoin extends Configured implements Tool { public static class UserJoinMapper extends Mapper&lt;Object, Text, Text, Text&gt; { private Text outkey = new Text();...
reduce端join算法实现
tianqinglei的博客
07-13 341
1、需求：订单数据表t_order：iddatepidamount100120150710P00012100220150710P00013100220150710P00023 商品信息表t_productidnamecategory_idpriceP0001小米5C012000P0002锤子T1C0130002、实现机制：通过将关联的条件作为map输出的key，将两表满足join条件的数据并携带数
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值