hadoop MapReduce程序中解决第三方jar包问题

最新推荐文章于 2024-04-30 14:41:20 发布

xiaoyatouxihuanchen

最新推荐文章于 2024-04-30 14:41:20 发布

阅读量1.5k

点赞数

CC 4.0 BY-SA版权

分类专栏： mapreduce

本文链接：https://blog.youkuaiyun.com/xiaoyatouxihuanchen/article/details/52474811

mapreduce 专栏收录该内容

3 篇文章

订阅专栏

本文介绍了在MapReduce项目中遇到第三方jar包缺失导致的异常问题及其解决方案。错误表现为`Error: java.lang.ClassNotFoundException`。提出了两种解决办法：1.将所有依赖打包进大jar；2.创建lib目录存放第三方jar，Hadoop会自动加载lib下的依赖。推荐使用第二种简洁且方便升级的方案。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在项目中碰到了MapReduce任务中需要引入第三方jar包的问题；

一、现象

报一堆类似异常【Error: java.lang.ClassNotFoundException:***】。

二、解决方案

方案1：把所有的第三方jar和自己的class打成一个大的jar包，这种方案显然笨拙，而且更新升级比较繁琐。

方案2：
在你的project里面建立一个lib文件夹，然后把所有的第三方jar包放到里面去，hadoop会自动加载lib依赖里面的jar。 (针对第三方的jama.Matrix)

http://www.blowide.com/2010/04/including-external-jars-in-a-hadoop-job/

注意最后一段：
Luckily, I bumped into a solution suggested Doug Cutting as an answer to someone who had a similar predicament. The solution was to create a “lib” folder in your project and copy all the external jars into this folder. According to Doug, Hadoop will look for third-party jars in this folder. It works great!