hadoop引用外部jar包

本文介绍了在Hadoop中引用外部jar包的两种方法:一是使用-libjars选项,二是通过程序内部的tmpjars参数设置。详细讲述了如何在运行Hadoop命令时指定jar包路径,并在MapReduce程序中处理这些参数,确保外部jar包的正确加载。无论jar包位于本地还是HDFS,都可以通过FileSystem API进行访问。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

    hadoop引用外部jar包有两种方式:

第一:实用-libjars  

第二:在程序中通过tmpjars参数设定

job.getConfiguration().set("tmpjars",jars);

jars为所有外部jar包字符串形式,英文逗号分隔。

在运行hadoop命令时,可通过参数的方式,把所需要的外部jar包(绝对路径)引入,然后再mapreduce程序中对该参数进行处理,并通过

job.getConfiguration().set("tmpjars",jars);

进行设置。

 

外部jar包的话,可以放在本地也可以放在hdfs中。

本地通过以下方式获取FileSystem :FileSystem fs= FileSystem.getLocal(Configuration);

HDFS则为:FileSystem fs = path.getFileSystem(Configuration);

然后再获取路径,finalPath = new Path(jar绝对路径).makeQualified(fs).toString();


评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值