关于MapReduce代码觉得没大问题但就是运行不出来也不报错的一个可能小错误

最新推荐文章于 2022-10-03 18:01:44 发布
最新推荐文章于 2022-10-03 18:01:44 发布
阅读量3.3k 收藏 2
点赞数 2
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/BabyYang2048/article/details/89705111
博主分享了一次编程经历，遇到mapper和reducer的输出数据的key和value类型不匹配的问题，导致output文件夹虽然创建成功但无输出文件。通过调整类型调用方法，问题得以解决。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

运行没有报错，也没有打印函数中的数据，output文件夹也创建成功，但是查看时

发现output文件下并没有输出文件

这时候检查代码觉得没有问题，直至发现了下图

应该为下图，mapper和reducer的输出数据的key和value类型调用的方法是不一样的

之前楼主粗心了这里没注意，初学者这里一定要注意啊啊啊啊啊啊啊！

改了之后就运行成功了！nice~

祝大家好运~

BabyYang2048
关注
执行mapreduce没报错，可是任务运行到running job就卡住在INFO mapreduce.Job: Running job: job_1653745295904_0001
ssn520的博客
05-28 880
执行mapreduce没报错，可是任务运行到runningjob就卡住在INFO mapreduce.Job: Running job: job_1653745295904_0001 使用官方部署的正则进行测试 bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.2.jar grep input output 'dfs[a-z.]+' 也是一样，运行到INFO mapreduce.Job: Running job:.
在MapReduce中运行WordCount以及字数统计中遇到的问题
fadeless_3的博客
12-16 923
在MapReduce中运行WordCount以及字数统计中遇到的问题 运行环境：Ubantu的eclipse下 此操作需要在配置好了hadoop和hdfs的基础上运行MapReduce 常见问题： 打开eclipse后查看不到MapReduceLocaltion，原因可能是没有开启hadoop，或者eclipse文件没有配置好 运行WordCount.java，代码没有错误，运行报错问题，原因可能是output下已存在输出文件，解决方法，换一个输出文件夹，如output2，或者删除output文件夹下的文
hadoop集群执行mapreduce程序没有报错但无输出文件/ hadoop sqoop将hdfs数据存到mysql时卡死在map 100% reduce 0%
bb123116的博客
12-24 2329
每个map 和reduce任务的物理内存限制有问题 修改/hadoop安装路径/etc/hadoop/yarn-site.xml文件 添加 <property> <name>yarn.nodemanager.resource.memory-mb</name> <value>22528</value> </property> <property> <
MapReduce设置Map和Reduce函数，但是map输出结果后，reduce没有输出，也没有报错
zz0548的博客
05-10 5185
主要原因是reduce输入的格式和map输出的格式不一致，请注意查看格式匹配！
执行mapreduce程序时直接退出，没有报错
904897655
11-25 1338
运行mapreduce程序时直接退出 运行没有任何报错，什么错误都没，查看日志也没，但是就是忘看代码了 结果只因为少了下面这一行
Mapreduce不设置reduce，只执行map的输出结果
热门推荐
yongjian_luo的专栏
08-14 1万+
在写MR程序时候，有时我们不需要reduce，比如对原始数据做Format等，这样我们再MR程序中就不需要写reduce函数，同样在main函数配置中也不需要reduce相关的配置信息 ，在MR执行的过程中，会为MR生成一个系统自带的reduce，这个reduce是系统为了保持框架的完整性自动调用的reduce函数，但这个函数并不做shuffle和数据拖去，生成的结果文件就是map的输出文件，也
mapreduce报错
05-25
一般来说，MapReduce 报错的原因可能有很多种，常见的包括输入输出路径错误、mapper 或 reducer 函数出错、环境配置问题等等。您可以先检查一下您的代码和配置文件，看看是否有问题。同时，您也可以在运行 MapReduce...
错误: 找不到或无法加载主类 org.apache.hadoop.mapreduce.v2.app.MRAppMaster
weixin_45140946的博客
02-27 2973
错误: 找不到或无法加载主类 org.apache.hadoop.mapreduce.v2.app.MRAppMaster 解决： 在yarn-site.xml和mapred-site.xml中添加如下依赖 <property> <name>yarn.application.classpath</name> <value>/usr/etc/hadoop-3.2.2/etc/hadoop:/usr/etc/hadoop-3.2.2
在Hadoop下运行wordcount一直报错系统找不到指定路径
m0_46464344的博客
05-22 2089
在Hadoop下运行MapReduce任务欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 在分布式计算课上老师要求在windows10上安装hadoop并运行wordcount任务，以下是运行
idea工具里运行MapReduce报权限问题的错误
破碎琉璃为哪般
12-08 1356
问题描述：程序在eclipse正常运行，在idea里不能运行 报错信息 java.lang.NoSuchFieldError: workaroundNonThreadSafePasswdCalls at org.apache.hadoop.io.nativeio.NativeIO.initNative(Native Method) at org.apache.hadoop.io.nativei...
IDEA 执行Mapreduce 程序
Axel_Fran的博客
12-07 2769
以下提到三种方式 方式1： 首先在windows 的IDEA写好代码，代码中不指出 在哪运行，就是本地运行。即在windows 运行环境。此时需要满足以下条件： -- 下载hadoop 安装包，解压。 -- 百度 “hadoop winutils”. 找到这个这个资源。选择对应hadoop版本号。然后应该会是一个 bin 文件夹，其中就包含了winutils.exe。将这个 文件夹复制到 先前解压的hadoop 安装包中，替换掉安装包中的 bin 文件夹。 -- 最后在这个bin文件夹中找到 had
IDEA运hadoop的MapReduce项目报错，代码没错，什么都没有错，但是就是报错，没有运行结果的文件
qq_58586778的博客
10-03 860
IDEA运hadoop的MapReduce项目报错，代码没错，什么都没有错，但是就是报错，没有运行结果的文件
关于在idea运行本地MapReduce的问题
mianhuatang__的博客
01-10 1354
在idea运行一个很普通的wordcount 所需环境,反正也不知道是不是这样,就都配了 没配之前一直报错 Could not locate executabl ....\hadoop-2.7.3\hadoop-2.7.3\bin\winutils.exe in the Hadoop binaries 配置完毕之后重启电脑就OK了. 下面是pom依赖 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="htt.
在idea里运行调试Mapreduce程序，学习中......
weixin_44754632的博客
04-10 744
目前已知三种方式，前提在VMware中搭建了Hadoop于Linux虚拟机中的运行环境。 1、在Linux中下载Idea并配置maven环境，复制网上代码，在src/main/java文件夹下新建WordcountDriver.class、WordcountMapper.class、WordcountReducer.class，调整configurations确定输入输出文件位置，启动hadoop...
MapReduce没有输出，得到一个空的文件夹可能的原因
Lucky小黄人的博客
05-24 6498
1. Map输出类型和Reducer的输入类型对不上 注意： 当Mapper的输出类型和Reducer的输出类型是一样的时候，可以仅设置Reducer的输出类型 job.setOutputKeyClass(Text.class); job.setOutputValueClass(Text.class); 当时当当Mapper的输出类型和Reducer的输出类型是一样的时候，除了设置R...
探讨MapReduce失败的几种情形
andyguan01_2的博客
04-22 3817
在现实情况中，程序运行可能遇到各种故障：用户代码错误不断、进程崩溃、机器故障等等。使用Hadoop最主要的好处之一是它能处理此类故障并让你能够成功完成作业。五门需要考虑以下实体的失败：任务、application master、节点管理器和资源管理器。 1、任务运行失败 首先考虑任务失败的情况。最常见的情况是map任务或reduce任务中的用户代码抛出运行异常。如果发生这种情况，任务JVM会在退出...
关于MapReduce运行的常见问题
L
01-28 755
  日志 错误信息，如下： log4j:WARN No appenders could be found for logger (org.apache.hadoop.metrics2.lib.MutableMetricsFactory). log4j:WARN Please initialize the log4j system properly. log4j:WARN See http:/...
Hadoop（21）：MapReduce开发过程中常见错误及解决方案
yang_shibiao的博客
05-03 2264
目录 0. 相关文章链接 1. 导包出错 2. 输入参数 3. java.lang.Exception: java.io.IOException: Illegal partition for 13926435656 (4) 4. 是否执行分区过程 5. windows和Linux环境冲突 6.找不到文件异常 7.报类型转换异常 8.集群中运行wc.jar时出现了无法获得输入文件 9.出现了如下相关异常 10.输出的文件内容中数据为空 0. 相关文章链接 Hadoop 文章...
hadoop3 任务卡在map 0% reduce 0%的解决方案
Akari0216的博客
08-31 5536
在VMWare上面配置好了hadoop3之后，当然是先试跑一下案例。然而在master上面运行wordcount的时候却出现了卡在map 0% reduce 0%的情况，搜索了这个问题的相关解决方案，基本是修改yarn-site.xml的配置，如 1.增大cpu数，yarn.nodemanager.resource.cpu-vcores 2.增大每个节点可用内存，yarn.scheduler.maximum-allocation-mb 3.调整虚拟内存值，yarn.nodemanager.vmem-pme
评论 13
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值