上一篇《Eclipse调试Hadoop-MapReduce程序》介绍了使用Eclipse开发Hadoop工具的过程
实际应用中,不可能所有的应用都是Eclipse来启动,因此继续看了下如何使用Hadoop来调用Jar包的方式启动程序。
1) 根据上篇文的介绍继续,在eclipse工程中的《WordCount.java》上点击右键:
“Export” -> “java” -> “Jar file” -> “next”
在弹出的对话框中,“JAR file:”写入一个导出的Jar名称
2) 如果hdfs://localhost:9000/output1目录存在,先删除,不然后面运行会出错
hadoop fs -rm -r -f /output1
3) 用hadoop的jar命令运行刚才的jar
hadoop jar WordCount.jar WordCount hdfs://localhost:9000/input01 hdfs://localhost:9000/output01
- 参数: WordCount.jar 是刚才输出的jar名称
- 参数: WordCount 是WordCount.java里面的WordCount类的名称,用来查找main函数
- 后面两个参数就是输入输出的路径
4) Jar的相对路径
上面的运行命令,必须在包含WordCount.jar的目录下运行才行,也就是说WordCount.jar必须是个真实的路径
看网上的资料,设置HADOOP的环境变量HADOOP_CLASSPATH可以不用调用jar包的真实路径
我没试成功。。。。
如果哪位同学实验成功了,麻烦能告诉我下,多谢了
这篇博客详细介绍了如何使用Hadoop通过命令行运行Jar包。首先在Eclipse中导出Jar文件,接着删除HDFS上的现有输出目录,然后使用hadoop的jar命令指定Jar文件、主类名及输入输出路径。文章提到,为了运行Jar包,通常需要在包含Jar的目录下执行命令,而设置HADOOP_CLASSPATH环境变量以引用非真实路径的方法未能成功,作者期待读者的实践经验分享。
483

被折叠的 条评论
为什么被折叠?



