Windows下写Hadoop MapReduce程序

本文介绍如何在Windows系统中使用xShell软件通过SSH代理连接远程Hadoop集群,简化了从Ubuntu切换到Windows环境下的开发流程。通过在Eclipse中创建Java工程,加入Hadoop jar包,并利用代理链接实现远程操作,最终导出jar包部署至集群服务器。避免了在Ubuntu下编写和传输MR程序的繁琐步骤。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

之前一直在Ubuntu下操作自己搭建的Hadoop伪分布集群,然后可以直接在Ubuntu环境下开发MR程序,这段时间有幸得到实验室集群的操作权限,但是要用SSH远程管理集群,在Ubuntu下不知道怎么用代理进行SSH代理链接,所以只能在windows环境下用xshell进行通信。

直接上过程吧:

1、在eclipse直接新建java工程,然后对项目名右键-->Build Path-->Config Build Path。看到如下界面


2、Add External Jar.把hadoop包解压缩,将lib文件架中的所有jar包都点选,还有hadoop-core-1.2.1.jar 也加入。


3、最后在Order and Export勾选所有jar,确定后就可以新建java文件了些代码了。


最后导出jar包再put到集群服务器就好了。


这样搞完,以后就不用在Ubuntu写MR程序然后拷到windows在用XFTP传到集群了。因为在搭建了Hadoop环境的Ubuntu下加入Hadoop插件后建MR工程实在太方便了,可惜折腾了很久都没弄明白怎样用SSH代理连接集群...哪位大大知道赐教一下呗。


评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值