数据算法-hadoop4 左链接

最新推荐文章于 2018-08-13 17:41:32 发布

jshazhang

最新推荐文章于 2018-08-13 17:41:32 发布

阅读量313

点赞数

CC 4.0 BY-SA版权

分类专栏：数据算法-hadoop 文章标签： hadoop

本文链接：https://blog.youkuaiyun.com/jshazhang/article/details/78127868

数据算法-hadoop 专栏收录该内容

7 篇文章

订阅专栏

本文介绍了一种使用Hadoop实现左链接的方法，通过将左表和右表的ID放入map的key中，并将对应的值放入value中，在reduce阶段进行拼接来完成连接操作。示例代码展示了具体的Mapper和Reducer实现过程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

左链接很简单的，主要是把左表的id和右表关联id分别放入map的key中，value分别放入两边要关联出来的其他值，在reduce时拼接起来。
书上PairOfStrings类，我找了半天，竟然找到了edu.umd.cloud9的jar包，也不知道这个jar包是干嘛的。这个类就是两个成员变量，一个left一个right，左边是标识左边还是右边，右边是值。

    public static void main(String[] args) throws Exception {
        Configuration conf1 = new Configuration();
        System.setProperty("hadoop.home.dir", "D:\\hadoop-2.5.2");

        conf1.setBoolean("dfs.permissions", false);

        Job job = Job.getInstance(conf1, "LeftJoin");

        job.setReducerClass(LeftJoinReducer.class);
        job.setOutputKeyClass(NullWritable.class);
        job.setOutputValueClass(Text.class);

        job.setNumReduceTasks(1);

        MultipleInputs.addInputPath(job, new Path("C:\\demo\\04\\transactions.txt"),
                TextInputFormat.class, LeftJoinTransactionMapper.class);
        MultipleInputs.addInputPath(job, new Path("C:\\demo\\04\\users.txt"),
                TextInputFormat.class, LeftJoinUserMapper.class);

        job.setMapOutputKeyClass(PairOfStrings.class);
        job.setMapOutputValueClass(PairOfStrings.class);
        FileOutputFormat.setOutputPath(job, new Path("C:\\demo\\04\\out"));
        if (job.waitForCompletion(true)) {
            log.info("MR run successfully");

        } else {
            log.error("MR run failed");

        }

    }

public class LeftJoinUserMapper extends
        Mapper<Object, Text, PairOfStrings, PairOfStrings> {

    PairOfStrings outputKey = new PairOfStrings();
    PairOfStrings outputValue = new PairOfStrings();

    public void map(Object key, Text value, Context context)
            throws IOException, InterruptedException {
        String[] tokens = value.toString().split("\t");
        String userID = tokens[0];
        String locationID = tokens[1];
        outputKey.set(userID, "1");
        outputValue.set("L", locationID);
        context.write(outputKey, outputValue);
    }

public class LeftJoinTransactionMapper extends
        Mapper<Object, Text, PairOfStrings, PairOfStrings> {

    PairOfStrings outputKey = new PairOfStrings();
    PairOfStrings outputValue = new PairOfStrings();

    public void map(Object key, Text value, Context context)
            throws IOException, InterruptedException {
        String[] tokens = value.toString().split("\t");
        String productID = tokens[1];
        String userID = tokens[2];
        outputKey.set(userID, "2");
        outputValue.set("P", productID);
        context.write(outputKey, outputValue);
    }

}

public class LeftJoinReducer extends
        Reducer<PairOfStrings, PairOfStrings, Text, Text> {

    Text productID = new Text();
    Text locationID = new Text("undefined");

    @Override
    public void reduce(PairOfStrings key, Iterable<PairOfStrings> values,
            Context context) throws java.io.IOException, InterruptedException {

        for (PairOfStrings pos : values) {
            PairOfStrings p = new PairOfStrings(pos.getLeftElement(), pos.getRightElement());
            if (pos.getLeftElement().equals("L")) {
                locationID.set(p.getRightElement());
                continue;
            }
            productID.set(p.getRightElement());
            context.write(productID, locationID);
        }
    }

}

输入
user
u1 UT
u2 GA
u3 CA
u4 CA
u5 GA
transations

t1  p3  u1
t2  p1  u2
t3  p1  u1
t4  p2  u2
t5  p4  u4
t6  p1  u1
t7  p4  u1
t8  p4  u5

结果

u1  UT
u2  GA
u3  CA
u4  CA
u5  GA