hadoop分布式下打包运行时报java.lang.RuntimeException: java.lang.ClassNotFoundException的原因

最新推荐文章于 2024-06-09 10:07:49 发布

_matter

最新推荐文章于 2024-06-09 10:07:49 发布

阅读量1.6k

点赞数

CC 4.0 BY-SA版权

文章标签： mapreduce hadoop 异常

本文链接：https://blog.youkuaiyun.com/u012597589/article/details/37652727

本文介绍在MapReduce程序中使用自定义类时遇到ClassNotFoundException的解决方案。通过使用DistributedCache.addFileToClassPath方法并将jar包上传到HDFS来确保所有节点都能正确加载自定义类。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

通过打包运行MapReduce程序的时候，当程序中包含自定义的类时，job执行时会出现异常：java.lang.RuntimeException: java.lang.ClassNotFoundException，抛出异常的原因是由执行task的节点找不到自定义的类引起的，mapreduce程序在hadoop中的运行机理:mapreduce框架在运行Job时，为了使得各个从节点上能执行task任务(即map和reduce函数)，会在作业提交时将运行作业所需的资源，包括作业jar文件、配置文件和计算所得的输入划分，复制到HDFS上一个以作业ID命名的目录中，并且作业jar的副本较多，以保证tasktracker运行task时可以访问副本，执行程序。

解决这个异常的关键就是要让task的节点找到自定义的类，我试了很多方法，都失败了，最后还是在官网上找到了DistributedCache类，幸好hadoop设计者早就考虑到了这个问题，用DistributedCache的addFileToClassPath（）方法就可以解决那个异常。还有一点要注意DistributedCache.addFileToClassPath(new Path(""), Conf)里的Path必须是HDFS上的文件，所以需要把jar包也上传到HDFS上，要用”hdfs://master:9100/input/app.jar“这种方式获取文件，执行Job，就OK了。