Hadoop运行Jar配置

这篇博客详细介绍了如何使用Hadoop通过命令行运行Jar包。首先在Eclipse中导出Jar文件,接着删除HDFS上的现有输出目录,然后使用hadoop的jar命令指定Jar文件、主类名及输入输出路径。文章提到,为了运行Jar包,通常需要在包含Jar的目录下执行命令,而设置HADOOP_CLASSPATH环境变量以引用非真实路径的方法未能成功,作者期待读者的实践经验分享。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

上一篇《Eclipse调试Hadoop-MapReduce程序》介绍了使用Eclipse开发Hadoop工具的过程
实际应用中,不可能所有的应用都是Eclipse来启动,因此继续看了下如何使用Hadoop来调用Jar包的方式启动程序。

1) 根据上篇文的介绍继续,在eclipse工程中的《WordCount.java》上点击右键:
“Export” -> “java” -> “Jar file” -> “next”
在弹出的对话框中,“JAR file:”写入一个导出的Jar名称
这里写图片描述

2) 如果hdfs://localhost:9000/output1目录存在,先删除,不然后面运行会出错

hadoop fs -rm -r -f /output1

3) 用hadoop的jar命令运行刚才的jar

hadoop jar WordCount.jar WordCount hdfs://localhost:9000/input01 hdfs://localhost:9000/output01
  • 参数: WordCount.jar 是刚才输出的jar名称
  • 参数: WordCount 是WordCount.java里面的WordCount类的名称,用来查找main函数
  • 后面两个参数就是输入输出的路径

4) Jar的相对路径
上面的运行命令,必须在包含WordCount.jar的目录下运行才行,也就是说WordCount.jar必须是个真实的路径
看网上的资料,设置HADOOP的环境变量HADOOP_CLASSPATH可以不用调用jar包的真实路径
我没试成功。。。。
如果哪位同学实验成功了,麻烦能告诉我下,多谢了

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值