关于在eclipse下的mapreduce工程打包成jar包的问题(包含第三方jar包)

本文介绍了在Hadoop集群环境中加载第三方jar包的两种方法。第一种方法是直接将所有第三方jar包放置在Hadoop的lib目录下,并重启集群;第二种方法尝试使用FatJar插件进行打包,但作者在Ubuntu环境下未能成功。

这个问题也是在开发项目中经常遇到的一个问题,网上提供了很多方法,但是我发现很多并不适用,这里推荐两种方法,一种肯定没问题,就是比较麻烦,另一种是适用FatJar来打包,但是我没成功,原因估计出在ubuntu下的eclipse导入插件可能和windows下面的不一样

方式一:

将所有的第三方jar包放到主节点和从节点的目录hadoop-share-hadoop-cmmon-lib下,重启hadoop集群,这样第三方jar包就和hadoop里面的jar包一样启动了,这是我通过启动日志发现的,启动日志可以通过web:master:8088网站来查看。

方式二:通过第三发插件FatJar来打包,但是这种方式我在ubuntu下面打包并没有成功,没有所谓的Export-Other-FatJar选项,有时间的话再弄一下这个方式

转载于:https://www.cnblogs.com/lisi2016/p/6863932.html

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值