IDEA本地运行hadoop程序成功，集群运行找不到自定义的Mapper类

最新推荐文章于 2022-04-28 10:46:05 发布
原创 最新推荐文章于 2022-04-28 10:46:05 发布 · 603 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

博客内容主要介绍了在遇到JobMain类执行时遇到的错误，解决方案是在主类中添加job.setJarByClass(JobMain.class)这行代码，然后重新打包并运行jar文件，问题即可得到解决。

错误如下：

解决方案是在主类JobMain中添加如下：

 job.setJarByClass(JobMain.class);

然后再生成jar包运行即可！

IDEA 本地远程执行MapReduce（HA集群）程序找不到自定义Mapper与Reduce类
AdamShyly的博客
11-30 835
本文通过IDEA本地执行MR程序的main函数 ，而不是打包成Jar手工放到服务器上运行，发现以下错误提示：No job jar file set，然后在HDFS的/tmp下也没发现有该项目的Jar包，可以推测是任务提交给yarn后，本地并没有将项目打包成Jar提交给ResourceManager，导致找不到Mapper与Reducer类。注意不能是绝对路径，必须是相对路径（项目文件为根路径），否则还是无法提交成功，但是No job jar file set的提示消失了，却依旧找不到类。
idea远程提交hadoop执行任务，本地运行mapReduce程序
weixin_43606738的博客
09-10 1306
首先你要有hadoop集群，至于怎么集群，这里就不说了，很麻烦 启动你的hadoop 上传你要统计的数据到hdfs --一个或多个文件 记住该路径, 我这个文件作为测试，324M够大了 搭建本地idea的hadoop项目 创建maven项目 pom.xml 依赖 <properties> <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding> <mav
Hadoop: 自定义mapreduce方法，IDEA打包发送到终端运行，错误找不到mapper方法
gaohaojie9的博客
08-15 805
Hadoop: 自定义mapreduce方法，IDEA打包发送到终端运行，错误找不到mapper方法 最近在学习Hadoop，写了个例子，自定义的一个InputFormat的方法，在IDEA上运行没有问题，但是打包发送到终端后运行找不到mapper方法，找了半天发现是在Main方法里面少了一句 //mr程序，如果要打包到集群运行的，需要加这个 job.setJarByClass(MyInputFormatMain.class); 不加这句在IDEA里面没有问题，到终端就不行了。 还有个小错误在自定义的Rec
hadoop中有时运行会提示mapper找不到
caoyaqi的博客
12-17 3199
当hadoop运行时出现mapper找不到，或者不存在：可以把该java文件打jar包 比如：运行WorldCount.java文件时，出现上述错误，则可以将该Java文件export出jar格式，再把该jar包buildpath ----------------------------------------------------------------------------------
hadoop之Job显示Mapper未发现
博客标题不能为空
09-11 896
  跟着hadoop权威指南学，在重写InputFormat时候，Job运行发现错误： Error: java.lang.RuntimeException: java.lang.ClassNotFoundException: Class test.SequenceFileMapper not found 缺少这一句：job.setJarByClass(SmallFilesToSequenceF...
Hadoop执行MapReduce程序时，报自定义Mapper类或者Reducer类没有初始化方法<init>错误
nyotengu的博客
08-07 2099
java.lang.Exception: java.lang.RuntimeException: java.lang.NoSuchMethodException: xxx.MapJoin$MyMapper.&lt;init&gt;() 原因：map类和reduce类前没有加static修饰。     hadoop在调用map和reduce类时利用的是反射机制，如果内部类不是静态的，则无法获取到...
IDEA编写MapReduce词频统计并打包提交到Hadoop集群运行
weixin_43698398的博客
05-29 4331
运行MR jar包命令： hadoop jar linux本地jar包路径 Windows下的包名.类名 hadoop下的数据集 hadoop下的输出路径
Idea运行MapperReduce本地环境配置(win10).rar
04-21
标题中的"Idea运行MapperReduce本地环境配置(win10)"指的是使用IntelliJ IDEA这款流行的Java开发集成环境，在Windows 10操作系统下配置MapReduce程序的本地运行环境。MapReduce是Hadoop生态系统中的一个核心组件，它...
windows下idea编写去重程序，并打jar包上传到hadoop集群运行
最新发布
10-25
在本地打包的时候创建一个 `lib` 文件夹，将项目所用到的依赖包都放进去，再把 `lib` 加到项目根目录下，参考 idea 打包成可执行 jar 包和 lib 包、运行 `hadoop jar` 命令时，依赖第三方 Jar 包的解决方法等 [^1]。...
Mapreduce运行自定义Map及Reduce类找不到
xugen12的专栏
04-12 3106
在Eclipse开发环境中，派发Mapreduce job到集群的过程中，往往出现自己定义的Map及Reduce类找不到的情况。这个时候可以将工程打成jar包，然后将jar包添加到工程中。这种方法过于繁琐，现只需要在配置job之前通过代码将自己的Map及Reduce类上传到集群即可。代码如下所示： Method addURL =  URLClassLoader.class.getDeclared
idea intellij 连接hadoopHDFS插件
12-21
自己编译的插件，可连接hdfs，在idea设置plugin里面选择从磁盘安装插件。
SpringBoot远程提交任务到Hadoop集群报错java.lang.ClassNotFoundException: Class zut.edu.mapreduce.DeptMapper not
weixin_45102492的博客
02-26 469
在SpringBoot中编写MapReduce程序，并提交任务到集群，我实在本地调试的，一开始使用的是IntelliJ IDEA 2019.3 x64的右侧的Maven直接package直接打包，结果报错如下： Error: java.lang.RuntimeException: readObject can't find class at org.apache.hadoop.mapreduce.lib.input.TaggedInputSplit.readClass(TaggedInputSplit.j
idea运行map Reduce 时报：错误: 找不到或无法加载主类
Zsigner的博客
03-06 1342
问题描述：   使用idea编辑器，使用maven构建hadoop的mapreduce项目，在运行的时候提示报错：错误: 找不到或无法加载主类 com.hnxy.bin.JobRunner 错误排查： 1 可能是java的环境变量错误 解决方案：查看java的环境变量是否 正确 2 可能是未能成功编译： 解决方案： 菜单---》Build---》Rebuild Prodject 3 ...
（一）使用IDEA编写Mapper在Hadoop上执行
weixin_30487317的博客
06-03 228
1.在项目上鼠标右键 --> Open Module Settings 2.Artifacts --> + --> JAR --> From modules with dependencies... 3.Main Class是你这个项目(脚本)的主方法,就是要运行的类,选一个 4.如下图,设...
hadoop 关于使用idea使用hdfs命令查询不到文件信息的“bug“
佰梦的博客
10-16 923
RemoteIterator<LocatedFileStatus> listFiles = fs.listFiles(new Path("/"), true); 查询不到文件信息的原因是因为这个命令只能查询文件不能查询目录，因为你的hdfs上面没有文件只有目录所以运行结果就一直是空的，气死我了这弱智bug查了我半个多小时，真的是被自己蠢哭了。 问题是这种弱智bug，csdn也搜不到，留下这条信息给跟我一样的初学者，希望不要被这种弱智bug耽误时间。 ...
叫你写mapreduce--lesson2
wfp458113181wfp的专栏
09-12 1366
MapReduce第二节   还记得上一节的一个mr例子吗，对文件进行排序 #bin/hadoop jarcontrib/streaming/hadoop-streaming-1.2.1.jar -D mapred.compress.map.output=truemapred.job.reuse.jvm.num.tasks=4  -input/wolf1 -output /wolf2 -ma
第二章 关于MapReduce
刘伊凡2.0
07-14 441
Unix传统处理按行存储数据工具是awk MapReduce任务分为两个处理阶段:Map阶段和Reduce阶段。每个阶段都以键值对作为输入和输出，其类型有程序员来选择。程序员还需要些两个函数:map函数和reduce函数 map阶段为数据的准备阶段，此处我们比较合适去除去已损记录的地方，比如筛选缺失，可疑，错误的数据 防止覆盖的一个思路： reduce写入目录。在运行作业前该目录是如果存在
Mapper类——hadoop
热门推荐
孤竹的博客
05-25 1万+
1、Map是一些单个任务。Mapper类就是实现Map任务的类。haddop提供了一个抽象的Mapper基类，程序员需要继承这个基类，并实现其中相关的接口函数 一个示例Mapper类的定义如下： public static class MyMapper extend Mapper ①Mapper类是Hadoop提供的一个抽象类，程序员可以继承这个基类并实现其中的相关接口函数。它位于 o
关于IDEA出现报错： java.io.FileNotFoundException HADOOP_HOME and hadoop.home.dir are unset
a10534126的博客
04-28 4307
今天在跑wc的时候，代码仔细确认很多遍没有问题，但就是一直报错如下： Exceptioninthread"main"java.lang.RuntimeException:java.io.FileNotFoundException:java.io.FileNotFoundException:HADOOP_HOMEandhadoop.home.dirareunset.-seehttps://wiki.apache.org/hadoop/WindowsProblems atorg.apache.hadoop.ut
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值