hadoop集群,如何运行Java jar包---如何运行mapreduce程序

本文介绍Hadoop集群上运行MapReduce任务的两种方法:一是通过打包部署到集群;二是在开发环境中直接运行。文章详细说明了如何打包程序及在Hadoop集群上运行的具体步骤,并提供了命令示例。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

http://www.aboutyun.com/thread-7408-1-1.html

hadoop集群运行mapreduce有两种方式:1.一种是打包,在hadoop集群运行
2.一种是开发环境运行。
下面详细讲一下:
1.一种是打包,在hadoop集群运行
首先我们要打包程序,打包具体可以参考
(hadoop编程:解决eclipse能运行,打包放到集群上ClassNotFoundException:经验总结)
http://www.aboutyun.com/thread-7086-1-1.html
,打包完毕,我们该如何运行
首先显示一个比较简单的:
上面命令:hadoop jar x.jar 是运行包的一种方式,完成的方式为
hadoop jar  x.jar  ×××.MainClassName inputPath outputPath
同时解释一下:
x.jar为包的名称,包括路径,直接写包名称,则为默认路径
×××.MainClassName为运行的类名称
inputPath为输入路径
outputPath为输出路径。
这里需要注意的是:
输入路径和输出路径,一定要对应。
比如
输入路径
  1. hdfs://192.168.1.100:9000/user/hadoop/filetest/word.txt 
复制代码

输出路径:
  1. hdfs://192.168.1.100:9000/user/hadoop/output
复制代码

二者就不一致,output后面需要加入文件名,二者对应起来。

2.mapreduce在eclipse中运行
对于下面按照步骤单击Java Application就ok了。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值