使用cloudera MRUnit测试你的Mapreduce代码

最新推荐文章于 2025-07-30 11:42:02 发布
原创 最新推荐文章于 2025-07-30 11:42:02 发布 · 155 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#测试 #大数据

本文介绍了一种名为mrunit的工具，它能够显著提升复杂MRjob的测试速度和便捷性。通过mrunit，开发者可以轻松地测试Mapper、Reducer及整个MapReduce流程，极大地减少了调试时间和提高了开发效率。

    向大家强烈推荐cloudera的mrunit非常好用，简直可以说太棒了，我的一个略微复杂的MR job每次测试都不够敏捷，有时候使用mock，有时候部署到线上，调试耗时非常巨大，最近开始使用mrunit，有了它，每次只要跑起测试，一起尽在掌控，尽情重构。它可以测试你的Mapper、Reducer以及mapreduce整个运行过程。贴个淘宝QA团队的文章链接写的不错：

 

 

《Hadoop学习笔记之三：用MRUnit做单元测试》

http://qa.taobao.com/?p=10550

 

--heipark

Hadoop MapReduce计算框架原理与代码实例讲解
AI天才研究院
06-19 846
Hadoop MapReduce计算框架原理与代码实例讲解 1. 背景介绍 1.1 大数据处理的挑战 在当今数据爆炸式增长的时代,传统的数据处理方式已经无法满足海量数据的存储和计算需求。企业和组织面临着数据量激增
MRunit 测试MapReduce 程序
秋月丹青的博客
11-18 359
使用MRunit 测试 MapReduce ,就比如我们写java 程序是的junit单元测试，其实，mrunit 和标准的junit框架一起使用，可以将mapreduce作业的测试作为正常开发环境的一部分运行。 准备测试的包：mrunit-1.1.0-hadoop2.jar ，下载地址;https://repository.apache.org/content/repositories/rele...
cloudera CDH5.13.1 Hadoop2.6.0 测试运行wordcount大数据统计作业
LinBSoft的专栏
02-28 1933
cloudea 大数据实验平台安装好了，做点什么呢？ 还是从hello world开始吧1. 查看hadoop版本root@cdh01:~# hadoop version如果能如上正常显示，说明可以使用hadoop测试程序了2. 查看有哪些测试程序可用root@cdh01:~# hadoop jar /opt/cloudera/parcels/CDH/jars/hadoop-examples.ja...
MRUnit的那些坑
Me.Show
06-03 1315
MRUnit的那些坑 1. Maven无法成功导入org.apache.mrunit 提示： Unresolved dependency：’org.apache.mrunit:mrunit:jar….’ 原因：没有确定版本 解决方法：在<dependency></dependency>中间的语句块加上一行 <classifier...
hadoop-mapreduce的官方示例的测试执行方法
dengmanzhou3124的博客
07-10 645
1.根据给出的精度参数计算 pi ： hadoop jar /export/servers/hadoop-2.6.0-cdh5.14.0/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0-cdh5.14.0.jar pi 3 5 2.根据给出的输入文件路径和输出文件路径，将目标文件中的所有单词以及对应的出现次数...
MapReduce 测试自带实例 wordcount
Swt_BigData的博客
08-03 2032
Hadoop版本：2.7.6 Jar程序所在目录：是你解压后hadoop解压目录： /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.6.jar   1.本地创建测试文件： mkdir /home/hadoop/data touch a.txt  这里笔者创建了三个txt文件  vim a.t...
使用MRUnit对MapReduce进行单元测试
努力的凹凸曼的博客
03-28 390
1. 为什么需要单元测试　　一旦MapReduce项目提交到集群之后，若是出现问题是很难定位和修改的，只能通过打印日志的方式进行筛选。又如果数据和项目较大时，修改起来则更加麻烦。所以，在将MapReduce项目提交到集群上之前，我们需要先对其进行单元测试。2. 使用什么框架进行单元测试　　MRUnit是Cloudera公司专为Hadoop MapReduce写的单元测试框架，其API非常简洁实用。...
mrunit_使用MRUnit测试Hadoop程序
最佳 Java 编程
06-05 319
mrunit 这篇文章将略微绕开使用MapReduce实现数据密集型处理中发现的模式，以讨论同样重要的测试。 汤姆•惠勒 （ Tom Wheeler）在纽约2012年Strata / Hadoop World会议上参加的一次演讲给了我部分启发。 当处理大型数据集时，想到的并不是单元测试。 但是，当考虑到无论集群有多大或有多少数据时，都将相同的代码推送到所有节点以运行MapReduce作业，因此...
使用MRUnit测试Hadoop程序
最佳 Java 编程
05-12 207
这篇文章将略微绕开使用MapReduce实现数据密集型处理中的模式，以讨论同样重要的测试。 汤姆•惠勒 （ Tom Wheeler）在纽约2012年Strata / Hadoop World会议上参加的一次演讲给了我部分启发。 处理大型数据集时，想到的并不是单元测试。 但是，当考虑到无论集群有多大或有多少数据时，都将相同的代码推送到所有节点以运行MapReduce作业，因此Hadoop映射器...
36、MapReduce代码调试与测试全解析
最新发布
sam99的博客
07-30 31
本文详细解析了MapReduce代码调试与测试的关键技巧，包括处理OutOfMemory错误、调试MapReduce代码的最佳实践、单元测试的关键要素以及使用MRUnit测试框架进行不同类型的测试。通过合理的方法和工具，帮助开发者提高MapReduce代码的质量和稳定性。
MapReduce代码调试与测试全攻略
# MapReduce 代码调试与测试全攻略 ## 1. 调试技巧 ### 1.1 容器启动错误调试 当容器启动失败时，检查尝试启动容器的 NodeManager 日志是很有用的，因为这些日志可能包含容器启动错误信息。同时，如果容器日志存在...
MapReduce错误处理：识别和解决数据处理中的常见问题
![MapReduce错误处理：识别和解决数据处理中的常见问题...MapReduce模型由Google提出，旨在将复杂、繁重的数据处理工作简化，使开发者能够专注于编写数据处理逻辑，而不必担心底层的分布式计算细节。 ## MapReduce简介
统计分析中常见单词“ad-hoc ”的含义
The Big Data Way
02-11 4761
  ad-hoc ：a solution that has been custom designed for a specific problem       我个人翻译理解：针对各种临时的、自定义的的需求所采取的解决方案，比如很多临时的运维故障分析查询等。hive是解决这个问题很好的解决方案，需求是不确定的，但是可以通过编写SQL还面对各种不同问题。   --heipark ...
hadoop怎么读？怎么发音
The Big Data Way
10-11 3938
hadoop不是一个英文单词，是作者发明的词，hadoop名称来源作者小孩的一个絨毛填充黄色大象玩具。   它的发音是：[hædu:p]
yum错误“Error in PREUN scriptlet in rpm package ”
The Big Data Way
03-10 2058
    打算通过yum安装软件，发展之前有软件残骸。使用yum remove也无效，使用rpm -e也无法删除这个软件包（这个软件包已经损坏）。 错误信息： Running Transaction Error in PREUN scriptlet in rpm package hadoop-hdfs-namenode hadoop-hdfs-namenode-2.0.0+1475-1.cdh...
DFSClient端SocketTimeoutException异常的处理
The Big Data Way
04-13 1539
Failed to connect to /182.x.x.x:50010, add to deadNodes and continue java.net.SocketTimeoutException: 60000 millis timeout while waiting for channel to be ready for read. ch : java.nio.channels.Socke...
hadoop服务器磁盘损坏的处理办法
The Big Data Way
01-04 1288
hadoop设备经常会发生磁盘只读或者损坏的情况，出现这样的问题，datanode和tasktracker会无法启动。解决办法如下：     让datanode正常运行，需要设置系统可以容忍的损坏磁盘数，默认为0：     <property> <name>dfs.datanode.failed.volumes.tolerated</name...
配置secondarynamenode（一般都会配错的secondarynamenode）
The Big Data Way
06-09 1259
  secondary namenoded 配置很容易被忽视，如果jps检查都正常，大家通常不会太关心，除非namenode发生问题的 时候，才会想起还有个secondary namenode，它的配置共两步：   集群配置文件conf/master中添加secondarynamenode的机器名 修改/添加 hdfs-site.xml中如下属性： <property&g...
解析 bin/hadoop 文件
The Big Data Way
07-25 1024
  $HADOOP_HOME/bin/hadoop文件是Hadoop主要shell脚本，它提供格式化HDFS、恢复namenode、HDFS Shell、任务提交等诸多功能，它的执行语句在最后一行，如下：   exec "$JAVA" $JAVA_HEAP_MAX $HADOOP_OPTS -classpath "$CLASSPATH" $CLASS "$@"   下面是这几个变量的说明...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值