hadoop 2.7.2引入第三方jar包

最新推荐文章于 2023-01-04 16:55:28 发布

pete1223

最新推荐文章于 2023-01-04 16:55:28 发布

阅读量1.5k

点赞数

分类专栏： hadoop

hadoop 专栏收录该内容

7 篇文章

订阅专栏

本文介绍了一个关于如何在Hadoop作业中正确包含外部JAR文件的有效解决方案。根据《Hadoop权威指南》，非独立的JAR文件应当被打包到主JAR文件的lib目录中。文章通过具体步骤说明了如何实现这一过程并解决了实际部署中的问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

    1、发现一个不错的解决方案：http://algoarch.iteye.com/blog/1142681

           2、英文地址：http://www.blowide.com/2010/04/including-external-jars-in-a-hadoop-job/

           3、可问题来了，里面描述的lib目录建在哪里？执行时到底怎么调用的呀？

           4、记得《Hadoop权威指南》中好像也有关于jar打包的处理措施，查找之

                  【任何非独立的JAR文件都必须打包到JAR文件的lib目录中。（这与Java的web application archive或WAR文件类似，不同的是，后者的JAR文件放在WEB-INF/lib子目录下的WAR文件中）】，天哪，看书不仔细就会遗留重要问题，网上的都是浮云呀。打包的时候把第三方包放到lib目录下和class文件一块打包即可。

           5、按要求重新打包，执行，OK了