之前一直在Ubuntu下操作自己搭建的Hadoop伪分布集群,然后可以直接在Ubuntu环境下开发MR程序,这段时间有幸得到实验室集群的操作权限,但是要用SSH远程管理集群,在Ubuntu下不知道怎么用代理进行SSH代理链接,所以只能在windows环境下用xshell进行通信。
直接上过程吧:
1、在eclipse直接新建java工程,然后对项目名右键-->Build Path-->Config Build Path。看到如下界面
2、Add External Jar.把hadoop包解压缩,将lib文件架中的所有jar包都点选,还有hadoop-core-1.2.1.jar 也加入。
3、最后在Order and Export勾选所有jar,确定后就可以新建java文件了些代码了。
最后导出jar包再put到集群服务器就好了。
这样搞完,以后就不用在Ubuntu写MR程序然后拷到windows在用XFTP传到集群了。因为在搭建了Hadoop环境的Ubuntu下加入Hadoop插件后建MR工程实在太方便了,可惜折腾了很久都没弄明白怎样用SSH代理连接集群...哪位大大知道赐教一下呗。
本文介绍如何在Windows系统中使用xShell软件通过SSH代理连接远程Hadoop集群,简化了从Ubuntu切换到Windows环境下的开发流程。通过在Eclipse中创建Java工程,加入Hadoop jar包,并利用代理链接实现远程操作,最终导出jar包部署至集群服务器。避免了在Ubuntu下编写和传输MR程序的繁琐步骤。
756

被折叠的 条评论
为什么被折叠?



