MapReduce单元测试（MRunit）

最新推荐文章于 2021-05-05 10:20:33 发布
最新推荐文章于 2021-05-05 10:20:33 发布
阅读量401 收藏
点赞数
分类专栏： mapreduce
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/jz1993/article/details/86727400
版权
  1. 问题

  2. ggggggg

  3. 借鉴

  4. https://blog.youkuaiyun.com/sunshine920103/article/details/61615948 

    https://www.cnblogs.com/xdlaoliu/p/7235675.html 

 

package com.**.pcdnas.mr.job;

import com.alibaba.fastjson.JSON;
import com.**.pcdnas.mr.model.LogInfo;
import com.**.pcdnas.mr.util.MrCommonUtil;
import com.**.pcdnas.mr.util.StringUtil;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.output.MultipleOutputs;
import java.io.IOException;

/**
 * Created by 
 * 2018/11/8.
 */
public class OpenPeerMR {

    /**
     * 4个泛型中，前两个是指定mapper输入数据的类型，KEYIN是输入的key的类型，VALUEIN是输入的value的类型
     */
    public static class OpenPeerMapper extends Mapper<Object, Text, Text, Text> {
        /**
         * 输出key
         */
        private Text outKey = new Text();

        @Override
        protected void map(Object key, Text value, Context context) throws IOException, InterruptedException {
            String peerLog = value.toString().trim();
            LogInfo logInfo = JSON.parseObject(peerLog, LogInfo.class);
            outKey.set(MrCommonUtil.getOpenPeerMapKey(logInfo));
            context.write(outKey, value);
        }
    }

    /**
     * 经过mapper处理后的数据会被reducer拉取过来，所以reducer的KEYIN、VALUEIN和mapper的KEYOUT、VALUEOUT一致
     */
    public static class OpenPeerReducer extends Reducer<Text, Text, Text, Text> {

        private MultipleOutputs outputs;

        @Override
        protected void setup(Context context) throws IOException, InterruptedException {
            outputs = new MultipleOutputs(context);
        }

        @Override
        protected void reduce(Text key, Iterable<Text> values, Context context) throws IOException, InterruptedException {
            String keyVal = key.toString().trim();
            String[] arrs = keyVal.split(",");
            String companyId = "ip";
            String token = "token";
            String date = "yyyyMMdd-HH";
            if(arrs.length == 3){
                companyId = arrs[0];
                token = arrs[1];
                date = arrs[2];
            }
            for (Text value : values) {
                /**
                 * 指定写出不同文件的数据
                 */
                outputs.write("MOSText", NullWritable.get() , value, companyId + "/" + token + "/" + (StringUtil.getUUIDFromToken(token) + "_" + date));
            }
        }

        @Override
        protected void cleanup(Context context) throws IOException, InterruptedException {
            outputs.close();
            super.cleanup(context);
        }
    }
}
package com.**.pcdnas.mr.job;

import com.**.pcdnas.mr.text.MyTextOutputFormat;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.lib.output.MultipleOutputs;
import org.apache.hadoop.mrunit.mapreduce.MapDriver;
import org.apache.hadoop.mrunit.mapreduce.MapReduceDriver;
import org.apache.hadoop.mrunit.mapreduce.ReduceDriver;
import org.junit.Before;
import org.junit.Test;
import java.io.IOException;
import java.util.Arrays;

/**
 * Created by jiangzhou
 * 2018/11/9.
 */
public class OpenPeerMRTest {


    MapDriver<Object, Text, Text, Text> mapDriver;
    ReduceDriver<Text, Text, Text, Text> reduceDriver;
    MapReduceDriver<Object, Text, Text, Text, Text, Text> mapReduceDriver;

    @Before
    public void setUp() {
        //测试mapreduce
        OpenPeerMR.OpenPeerMapper mapper = new OpenPeerMR.OpenPeerMapper();
        OpenPeerMR.OpenPeerReducer reducer = new OpenPeerMR.OpenPeerReducer();
        mapDriver = MapDriver.newMapDriver(mapper);
        reduceDriver = ReduceDriver.newReduceDriver(reducer);
        mapReduceDriver = MapReduceDriver.newMapReduceDriver(mapper, reducer);
    }


    @Test
    public void OpenPeerMapper() throws IOException {
        LongWritable key = new LongWritable(0);
        String content = "{\"peerType\":0,\"countryCode\":1,\"provinceCode\":16,\"ispCode\":1,\"ip\":\"61.171.51.200\",\"ipcountry\":\"中国\",\"ipprovince\":\"上海\",\"ipisp\":\"电信\",\"time\":1541523309467,\"date\":\"181107\",\"hour\":0,\"minute\":5509,\"submitTime\":1541523289720,\"token\":\"10100101000100000004016db042cd0e204d028a3ef961ab216d92\",\"deviceId\":\"2D15397E0E2CD4067FF185B5E2459706\",\"osName\":\"p\",\"osVersion\":\"\",\"deviceType\":\"\",\"cpuAbi\":\"\",\"networkType\":\"\",\"appversion\":\"\",\"appName\":\"\",\"peerVersion\":\"2.5.1.0\",\"pcdnType\":\"6\",\"natType\":4,\"queryPeerNum\":0,\"uploadAvgSpeed\":31026,\"uploadMaxSpeed\":0,\"uploadLimitSpeed\":2097152,\"uploadtotalBytes\":597747830,\"uploadtime\":0,\"uploadMaxConnect\":0,\"connPeerNum\":0,\"validconnPeerNum\":0,\"domainName\":\"114.80.186.137\",\"logcode\":\"\",\"repTtfb\":0,\"repTime\":0,\"t4\":0,\"t5\":53977000,\"t6\":0,\"t7\":53977000,\"t8\":299,\"cacheUsedSize\":0,\"cacheRemainSize\":5632,\"cacheSetSize\":5632,\"systemValidSpace\":188468,\"isthirdStorage\":0,\"isdiskcanwrite\":0,\"cpuNum\":0,\"syscpuRate\":0,\"plugcpuRate\":0,\"sysMem\":0,\"restMem\":0,\"plugMem\":0,\"ioread\":0.0,\"iowrite\":0.0,\"await\":0.0,\"svctm\":0.0,\"util\":0.0,\"type\":\"peer\"}";
        Text value = new Text(content);
        new MapDriver<Object, Text, Text, Text>()
                .withMapper(new OpenPeerMR.OpenPeerMapper())
                .withInput(key,value)
                .withOutput(new Text("401,10100101000100000004016db042cd0e204d028a3ef961ab216d92,2018-11-07_00"),new Text(content))
                .runTest();
    }


    /*@Test
    public void OpenPeerReducer() throws IOException {
        String content = "{\"peerType\":0,\"countryCode\":1,\"provinceCode\":16,\"ispCode\":1,\"ip\":\"61.171.51.200\",\"ipcountry\":\"中国\",\"ipprovince\":\"上海\",\"ipisp\":\"电信\",\"time\":1541523309467,\"date\":\"181107\",\"hour\":0,\"minute\":5509,\"submitTime\":1541523289720,\"token\":\"10100101000100000004016db042cd0e204d028a3ef961ab216d92\",\"deviceId\":\"2D15397E0E2CD4067FF185B5E2459706\",\"osName\":\"p\",\"osVersion\":\"\",\"deviceType\":\"\",\"cpuAbi\":\"\",\"networkType\":\"\",\"appversion\":\"\",\"appName\":\"\",\"peerVersion\":\"2.5.1.0\",\"pcdnType\":\"6\",\"natType\":4,\"queryPeerNum\":0,\"uploadAvgSpeed\":31026,\"uploadMaxSpeed\":0,\"uploadLimitSpeed\":2097152,\"uploadtotalBytes\":597747830,\"uploadtime\":0,\"uploadMaxConnect\":0,\"connPeerNum\":0,\"validconnPeerNum\":0,\"domainName\":\"114.80.186.137\",\"logcode\":\"\",\"repTtfb\":0,\"repTime\":0,\"t4\":0,\"t5\":53977000,\"t6\":0,\"t7\":53977000,\"t8\":299,\"cacheUsedSize\":0,\"cacheRemainSize\":5632,\"cacheSetSize\":5632,\"systemValidSpace\":188468,\"isthirdStorage\":0,\"isdiskcanwrite\":0,\"cpuNum\":0,\"syscpuRate\":0,\"plugcpuRate\":0,\"sysMem\":0,\"restMem\":0,\"plugMem\":0,\"ioread\":0.0,\"iowrite\":0.0,\"await\":0.0,\"svctm\":0.0,\"util\":0.0,\"type\":\"peer\"}";
        new ReduceDriver<Text, Text, Text, Text>()
                .withReducer(new OpenPeerMR.OpenPeerReducer())
                .withInput(new Text("401,10100101000100000004016db042cd0e204d028a3ef961ab216d92,2018-11-07_00"), Arrays.asList(new Text(content)))
                .withMultiOutput("MOSText",new Text(content),new Text(content))
                .runTest();
    }*/

    @Test
    public void testMR() throws Exception{
        try{
            String content = "{\"peerType\":0,\"countryCode\":1,\"provinceCode\":16,\"ispCode\":1,\"ip\":\"61.171.51.200\",\"ipcountry\":\"中国\",\"ipprovince\":\"上海\",\"ipisp\":\"电信\",\"time\":1541523309467,\"date\":\"181107\",\"hour\":0,\"minute\":5509,\"submitTime\":1541523289720,\"token\":\"10100101000100000004016db042cd0e204d028a3ef961ab216d92\",\"deviceId\":\"2D15397E0E2CD4067FF185B5E2459706\",\"osName\":\"p\",\"osVersion\":\"\",\"deviceType\":\"\",\"cpuAbi\":\"\",\"networkType\":\"\",\"appversion\":\"\",\"appName\":\"\",\"peerVersion\":\"2.5.1.0\",\"pcdnType\":\"6\",\"natType\":4,\"queryPeerNum\":0,\"uploadAvgSpeed\":31026,\"uploadMaxSpeed\":0,\"uploadLimitSpeed\":2097152,\"uploadtotalBytes\":597747830,\"uploadtime\":0,\"uploadMaxConnect\":0,\"connPeerNum\":0,\"validconnPeerNum\":0,\"domainName\":\"114.80.186.137\",\"logcode\":\"\",\"repTtfb\":0,\"repTime\":0,\"t4\":0,\"t5\":53977000,\"t6\":0,\"t7\":53977000,\"t8\":299,\"cacheUsedSize\":0,\"cacheRemainSize\":5632,\"cacheSetSize\":5632,\"systemValidSpace\":188468,\"isthirdStorage\":0,\"isdiskcanwrite\":0,\"cpuNum\":0,\"syscpuRate\":0,\"plugcpuRate\":0,\"sysMem\":0,\"restMem\":0,\"plugMem\":0,\"ioread\":0.0,\"iowrite\":0.0,\"await\":0.0,\"svctm\":0.0,\"util\":0.0,\"type\":\"peer\"}";
            LongWritable key = new LongWritable(0);
            mapReduceDriver.withInput(key, new Text(content));
            mapReduceDriver.withMultiOutput("MOSText",new Text(content),new Text(content));
            mapReduceDriver.runTest();
        }catch(Exception ex){

        }

    }



}

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <parent>
        <artifactId>pcdnas-pom</artifactId>
        <groupId>com.**.pcdnas</groupId>
        <version>0.0.1</version>
        <relativePath>../pcdnas-pom/pom.xml</relativePath>
    </parent>
    <modelVersion>4.0.0</modelVersion>

    <groupId>com.**.**</groupId>
    <artifactId>pcdnas-mr</artifactId>


    <properties>
        <hadoop.version>2.6.1</hadoop.version>
        <maven.compiler.source>1.7</maven.compiler.source>
        <maven.compiler.target>1.7</maven.compiler.target>
    </properties>

    <dependencies>

        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-common</artifactId>
            <version>${hadoop.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-hdfs</artifactId>
            <version>${hadoop.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-client</artifactId>
            <version>${hadoop.version}</version>
        </dependency>

        <dependency>
            <groupId>org.projectlombok</groupId>
            <artifactId>lombok</artifactId>
        </dependency>

        <dependency>
            <groupId>com.alibaba</groupId>
            <artifactId>fastjson</artifactId>
        </dependency>


        <!--单元测试 start -->
        <dependency>
            <groupId>junit</groupId>
            <artifactId>junit</artifactId>
            <scope>test</scope>
        </dependency>


        <dependency>
            <groupId>org.apache.mrunit</groupId>
            <artifactId>mrunit</artifactId>
            <version>1.1.0</version>
            <classifier>hadoop2</classifier>
            <scope>test</scope>
        </dependency>
        <!--单元测试 end -->
    </dependencies>


    <build>
        <plugins>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-assembly-plugin</artifactId>
                <version>2.4.1</version>
                <configuration>
                    <descriptorRefs>
                        <descriptorRef>jar-with-dependencies</descriptorRef>
                    </descriptorRefs>
                    <archive>
                        <manifest>
                            <!--<mainClass>com.**.**.mr.job.Driver</mainClass>-->
                            <mainClass>com.**.**.mr.job.OpenPeerDriver</mainClass>
                        </manifest>
                    </archive>
                </configuration>
                <executions>
                    <execution>
                        <id>make-assembly</id>
                        <phase>package</phase>
                        <goals>
                            <goal>single</goal>
                        </goals>
                    </execution>
                </executions>
            </plugin>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-compiler-plugin</artifactId>
                <configuration>
                    <source>${maven.compiler.source}</source>
                    <target>${maven.compiler.target}</target>
                </configuration>
            </plugin>
        </plugins>
    </build>
</project>

参考：https://blog.youkuaiyun.com/xiaocaidexuexibiji/article/details/17471627 仍不能解决

注释部分 仍然没有解决 好心人支援下！！！  

题外话

在搜索的过程中发现几个不错的maperduce文章：
使用hadoop multipleOutputs对输出结果进行不一样的组织：
https://www.cnblogs.com/yuhan-TB/p/3705665.html 
MR-2.输出格式（OutputFormat）Multiple outputs多目录输出：

https://blog.youkuaiyun.com/shenfuli/article/details/50589339 

MapReduce处理输出多文件格式(MultipleOutputs)
https://blog.youkuaiyun.com/u010366796/article/details/44753071 

MapReduce编程实战之“调试”和"调优"

https://blog.youkuaiyun.com/puma_dong/article/details/24120045 

 

[Hadoop]Hadoop单元测试MRUnit
SmartSi
12-08 4111
1. 设置开发环境从（https://repository.apache.org/content/repositories/releases/org/apache/mrunit/mrunit/）下载最新版本的MRUnit jar，例如如果你使用的hadoop版本为1.0.3，则需要下载mrunit-x.x.x-incubating-hadoop2.jar。同时还需要下载JUnit最新版本jar。如
MapReduce单元测验参考
weixin_43258896的博客
04-01 3861
MapReduce单元测验 1单选(2分) 下列说法错误的是 2单选(2分) 在使用MapReduce程序WordCount进行词频统计时，对于文本行“hello hadoop hello world”，经过WordCount程序的Map函数处理后直接输出的中间结果，应该是下面哪种形式： 3单选(2分) 对于文本行“hello hadoop hello world”，经过WordCount的Re...
Hadoop之MapReduce
热门推荐
数据人
03-17 4万+
摘要：MapReduce是Hadoop的又一核心模块，从MapReduce是什么，MapReduce能做什么以及MapReduce的工作机制三方面认识MapReduce。 关键词：Hadoop MapReduce 分布式处理
MapReduce单元测试（MRUnit测试）
司念
09-30 1517
正常情况下编写的MapReduce程序需要上传到服务器才能检验器正确性，但是受限于环境的影响，测试MR程序变得非常困难，现在使用 MRUnit Tutorial 让测试变得更加简单。 ok，不再废话，直接上链接和代码： 如果你使用maven管理项目，在你的pom.xml文件添加以下依赖项即可，这里区分Hadoop1和Hadoop2版本 Using from Maven add depend
对Mapreduce代码进行单元测试
weixin_34405557的博客
07-03 191
hadoop自带一个wordcount的示例代码，用于计算单词个数。我将其单独移出来，测试成功。源码如下： package org.apache.hadoop.examples; importjava.io.IOException; import java.util.StringTokenizer; import org.apache.hadoop...
MapReduce——单元测试
Bruce_Json的博客
11-05 553
添加依赖 &lt;dependency&gt; &lt;groupId&gt;org.apache.mrunit&lt;/groupId&gt; &lt;artifactId&gt;mrunit&lt;/artifactId&gt; &lt;version&gt;1.1.0&lt;/version&gt; &lt;scope&am
使用与增强MRUnit：Hadoop MapReduce单元测试实践
"本文档主要介绍了如何使用和增强Hadoop的单元测试框架MRUnit，以便更有效地进行MapReduce程序的测试。MRUnit提供了多种Driver来针对Map、Reduce以及完整的MapReduce流程进行测试，使得开发者能够在早期阶段发现并...
使用MRUnit、Mockito和PowerMock进行Hadoop MapReduce作业单元测试
"这篇教程详细介绍了如何对Hadoop MapReduce作业进行单元测试，主要使用了MRUnit、Mockito和PowerMock工具。文章首先指出Hadoop MapReduce的特殊架构给单元测试带来了挑战，然后逐步讲解了如何利用这些工具进行测试...
hadoop单元测试方法--使用和增强MRUnit.docx
06-28
MRUnit是一个专门为Hadoop MapReduce设计的单元测试框架，它提供了Mock对象来模拟Map和Reduce阶段的各种组件，简化了测试流程。 **1. MRUnit简介** MRUnit主要提供了四种Driver类，用于不同类型的测试场景： - **...
使用MRUnit对MapReduce进行单元测试
weixin_33698823的博客
03-26 161
1. 为什么需要单元测试 　　一旦MapReduce项目提交到集群之后，若是出现问题是很难定位和修改的，只能通过打印日志的方式进行筛选。又如果数据和项目较大时，修改起来则更加麻烦。所以，在将MapReduce项目提交到集群上之前，我们需要先对其进行单元测试。 2. 使用什么框架进行单元测试 　　MRUnit是Cloudera公司专为Hadoop MapReduce写的单元测试框架，其API非...
mapreduce作业单元测试
weixin_34242819的博客
09-01 126
用官方提供的MRunit包进行对MapReducer作业进行测试 http://mrunit.apache.org/ 先要下载对应的测试包，分为1.0和2.0的hadoop版本 来自： https://cwiki.apache.org/confluence/display/MRUNIT/MRUnit+Tutorial Mapper Jav...
MapReduce单元测试-mrunit
weixin_34384681的博客
04-27 101
2019独角兽企业重金招聘Python工程师标准>>> ...
使用MRUnit进行MapReduce单元测试
笨小葱的专栏
03-12 975
1.前言 在写完MR之后，通常都会自己造一些数据本地测一下保证基本逻辑没问题。这里使用MRUnit进行MR的单元测试 官网地址：https://mrunit.apache.org/              这里笨小葱使用MRUnit来测试一下最简单的WordCount的MR代码。 2.maven配置        这里需要注意 引入mrunit的jar包时需要加上hadoop2,来区分
【十八掌●武功篇】第七掌：MapReduce之单元测试
鸣宇淳的专栏
02-27 445
MRUnit是一个基于JUnit的单元测试框架，专门用来对Hadoop框架的MapReduce进行单元测试。MRUnit针对于不同的测试对象使用不同的Driver： - MapDriver，针对单独的Map测试。 - ReduceDriver，针对单独的Reduce进行测试。 - MapReduceDriver，将Map和Reduce连贯起来进行测试。 单元测试实例 1、...
hadoop中关于mapreduce的单元测试
想~ai抽
03-09 881
这个功能好像是CDH那边开发的。。。 1.  首先下载jar包：hadoop-0.21.0-mrunit.jar。（经测试，这个jar包是关联旧API的。请自己根据情况决定） 2.  在eclipse的build path中加入此jar包。 3.  编写测试程序： package unittest; import java.io.IOException; import java.util
MapReduce Unit Test
04-21 125
　　以前用java写MR程序总不习惯写单元测试，就是查错也只是在小规模数据上跑一下程序。昨天工作时，遇到一个bug，查了好久也查出来。估计是业务逻辑上的错误。后来没办法，只好写了个单元测试，一步步跟踪，瞬间找到问题所在。所以说，工作中还是要勤快些。 1 import static org.junit.Assert.assertEquals; 2 import jav...
一些算法的MapReduce实现——MapReduce Job的单元测试实例
iTer的专栏
12-22 1991
暂时先放到这个系列里面吧，勿怪！！！ MRUnit：Hadoop Testing tool mrunit，MapReduce的一个测试库，由Cloudera开发，集成了Junit的标准测试工具包和MapReduce的测试。 使用MRUnit能够很简单的对MapReduce的各个部分进行测试，它很好的把Map和Reduce分离，以便于我们分别对Map阶段和Reduce阶段进行逻辑测试。还可以测
MapReduce基础测试(一)
保护胖丁
05-05 314
需求1：去除源文件中字段缺失的数据 需求2：按照不同年份将营业数据拆分到不同的文件中 需求3：对每一年的营业数据按照净盈利排序（营业额-开支额） 需求4：要求最后输出到文件的数据字段之间以‘\t’分割，后边加两个描述字段：净盈利额、盈利或者亏损标记
MapReduce应用开发(二) 用MRUnit写单元测试
ThisIsNobody的博客
06-24 196
MRUnit是测试库(http://mrunit.apache.org)，可以与Junit一起使用但是，退休了2016/04/30 - APACHE MRUNIT HAS BEEN RETIRED.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值