不容忽视的setJarByClass方法——找不到Map类

最新推荐文章于 2022-10-07 14:38:51 发布
原创 最新推荐文章于 2022-10-07 14:38:51 发布 · 9.3k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#parameters #class #jar #集群 #api

本文探讨了在Hadoop集群中部署程序时遇到的常见问题——未能正确设置包含Map和Reduce类的Jar包。文中详细解释了如何使用setJarByClass方法来定位特定类所在的Jar文件，帮助解决此类部署难题。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

如果集群上运行程序找不到Map和Reduce类一般都是没有设置包含类的Jar包

API解析如下：

setJarByClasspublic void setJarByClass(Class<?> cls)

Set the Jar by finding where a given class came from.

Parameters:cls - the example class


越是不注意的地方越容易犯错误


运行mapreduce任务缺失setJarByClass()报错找不到类
QYHuiiQ
05-27 588
报错信息中提示说是类找不到，但是直观来看，我的自定义Map类是在的，但是还是报错： [root@hadoop01 word_count_jar]# hadoop jar test_word_count-1.0-SNAPSHOT.jar wyh.test.mapreduce.WordCountMain 22/05/27 07:34:08 INFO client.RMProxy: Connecting to ResourceManager at hadoop01/192.168.126.132:8032 2
大数据方向的终极武器——Hadoop
AI天才研究院
08-05 1300
19年下半年，随着互联网、移动互联网的飞速发展，信息化时代到来。无论是在传统行业还是在新兴的创新型企业中，都开始面临海量数据的存储、处理、分析、挖掘等方面的挑战。尤其是当下中国，近几年信息技术革命带来的巨大的产业变革，对现有的技术体系、管理体制都产生了深刻的影响。在这个大数据时代，业界不断涌现新的技术产品和服务，如云计算、大数据处理平台、大数据分析平台、搜索引擎等等。
关于mybatis 找不到parameter map java.util.Map
CHOUFENGDDDDDD的博客
11-11 478
今天junit 测试的时候 一直报错 org.apache.ibatis.builder.IncompleteElementException: Could not find parameter map java.util.Map Caused by: org.apache.ibatis.builder.IncompleteElementException: Could not find p...
分布式计算模型MapReduce的学习
weixin_43288858的博客
06-10 1299
MapReduce是一个分布式运算程序的编程框架，是用户开发“基于Hadoop的数据分析应用”的核心框架。MapReduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个Hadoop集群上MapReduce是采用一种分而治之的思想设计出来的分布式计算框架那什么是分而治之呢？比如一复杂、计算量大、耗时长的的任务，暂且称为“大任务”；此时使用单台服务器无法计算或较短时间内计算出结果时，可将此大任务切分成一个个小的任务，小任务分别在不同的服务器上并行的执行；最终再汇
Hadoop作业提交解决
Stereo
03-18 1013
最近几天一直在纠结hadoop作业提交的问题，对于命令行提交作业以及在集群中提交作业这里不再赘述，不会就去Google吧！     我们在客户机提交作业的时候总是发现出错，eclipse总是报jar file not found 的错误！我们知道客户端提交任务的时候，使用方法job.setWaitForCompletion(true)的时候，这个方法会调用job的submit()方法，sub
Hadoop 常见问题及解决
Yeung先森
07-31 4001
1，jar包执行出错，提示“class wordcount.WordCountMapper not found” 错误原因：在run（）代码中没有定义setJarByClass 解决方法：在wordcountJob.java中增加job.setJarByClass（getClass（））; 2，jar包执行出错，提示“线程中的异常”主“java.lang.ClassNotFound” 错误原...
Mapreduce执行过程分析(基于Hadoop2.4)——(一)
weixin_30420305的博客
07-10 356
1 概述 该瞅瞅MapReduce的内部运行原理了，以前只知道个皮毛，再不搞搞，不然怎么死的都不晓得。下文会以2.4版本中的WordCount这个经典例子作为分析的切入点，一步步来看里面到底是个什么情况。 2 为什么要使用MapReduce Map/Reduce，是一种模式，适合解决并行计算的问题，比如TopN、贝叶斯分类等。注意，是并行计算，而非迭代计算，像涉及到层次聚类的问题就不太适合了...
MapReduce小案例——找朋友
qq_43502858的博客
06-27 731
MapReduce小案例——找朋友 需求：在朋友圈内有一票人，他们之间加了微信好友，现在我们需要找出他们两两共同的好友？ 有上图可知，输入数据，他们所拥有的好友为：friend1.txt A:B,D,F,I,J,O B:A,C,E,G,K,P C:B,D,F,H,R D:A,C,E,H,L,S E:B,D,H,M F:A,C,I,J G:B,K,N,O H:C,D,E,M I:A,F,J,L,Q...
Hadoop MapReduce V2——找出每个月气温最高的2天
乔治大哥的博客
09-18 870
项目目录 MyTQ packagecom.henu.tq; importjava.io.IOException; importorg.apache.hadoop.conf.Configuration; importorg.apache.hadoop.fs.Path; importorg.apache.ha...
第四节 Hadoop学习案例——MapReduce案例（课程分类）
qq_53114527的博客
10-07 725
第四节 Hadoop学习案例——MapReduce案例（课程分类）
job.setOutputKeyClass的配置问题
老笨妞
05-28 3569
初学hadoop就要上项目，真是捉急啊！遇到这个配置问题，整了好久，更捉急！ 问题是这样的：在配置mapreduce的job时，总是报 1. java.io.IOException: wrong value class: class org.apache.hadoop.io.NullWritable is not class org.apache.hadoop.io.IntWritable
hadoop运行报错： java.lang.ClassNotFoundException解决方法
jessezhang1981的专栏
12-11 2669
作者：JesseZhang （CNZQS|JesseZhang） 博客地址：http://www.cnzqs.com 在创建自定义的Mapper时候，编译正确，但上传到集群执行时出现错误： 11/12/11 22:53:16 INFO mapred.JobClient: Task Id : attempt_201111301626_0015_m_000000_0, Sta
运行一个Hadoop Job所需要指定的属性
apple01010105的博客
02-02 251
1、设置job的基础属性 Job job = new Job(); job.setJarByClass(***.class); job.setJobName(“job name”); job.setNumReduce(2); 2、设置Map与Reudce的类 job.setMappgerClass(*.class); job.setReduceClass(*.class...
eclipse下执行wordcount报错 java.lang.ClassNotFoundException
12-07 5357
我用eclipse执行wordcout，报错如下， 网上一般都说是要加job.setJarByClass(WordCount.class);，但我代码里有这句 另外，导出jar到linux下就正常了 13/06/06 17:16:34 WARN mapred.JobClient: No job jar file set.  User classes may not be found. See
Java基础知识-Map
wangshixu2015的博客
10-31 492
1、Map体系        2.各实现类说明及区别  3、哈希映射技术      哈希映射技术是一种就元素映射到数组的非常简单的技术。由于哈希映射采用的是数组结果，那么必然存在一中用于确定任意键访问数组的索引机制，该机制能够提供一个小于数组大小的整数，我们将该机制称之为哈希函数。在Java中我们不必为寻找这样的整数而大伤脑筋，因为每个对象都必定存在一个返回整数值的ha
MapReduce的分区功能
枣泥馅的博客
04-14 1497
MapReduce的分区功能自我理解其实它最终的功能是为了计算出来的数据分区存储，方便日后查询更看 我们今天一个部门值来进行分区， MapReduce分区是从Map输出的K2阶段进入到Reducer时候在聚合相同key2的时候就开始进入分区 相同的Key2我们会把它放入到一个分区中，Reducer的主要作用为了聚合相同的Key2 要想做分区我们需要写出分区规则让reduce进行分区，需要实现Par...
MapReduce中Combiner的作用和用法
热门推荐
Life is for sharing的博客
01-02 1万+
MapReduce中Combiner的作用和用法 ①每一个map可能会产生大量的输出，Combiner的作用就是在map端对输出先做一次合并，以减少传输到reducer的数据量。 ②Combiner最基本是实现本地key的归并，Combiner具有类似本地的reduce功能。
大数据工程师面试题(六)
NLP学习者，通用人工智能实践者
02-26 4072
3.14 1、一个Hadoop环境，整合了HBase和Hive，是否有必要给HDFS和Hbase都分别配置压缩策略？请给出对压缩策略的建议。 hdfs在存储的时候不会将数据进行压缩，如果想进行压缩，我们可以在向hdfs上传数据的时候进行压缩。 1）、  采用压缩流 //压缩文件 public static void compress(String codecClassName) throw
IDEA引入的时候找不到java.util.HashMap
qichangjian的博客
12-07 9894
问题： 最近在写项目的时候，需要导入HashMap。 但是当我通过快捷键Alt+Enter导入的时候，并没有发现java.util.HashMap。 解决方法： 通过File-&amp;gt;Setting-&amp;gt;搜索Auto Import-&amp;gt;将java.util导入提示的排除设置删除。 解决问题截图： ...
使用idea创建maven项目，请编写map 、reduce以及启动类。将三个class的代码复制到此文档
最新发布
12-20
在IntelliJ IDEA中创建Maven项目并包含MapReduce示例，通常涉及到以下几个步骤： 1. **创建Maven项目** - 打开IntelliJ IDEA，选择"Create New Project" -> "Maven" - 选择合适的模板，例如"Java Maven Project...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值