Linux下用Eclipse开发调试Hadoop程序后打jar包后，到Hadoop集群上运行

最新推荐文章于 2021-12-26 21:30:39 发布

原创最新推荐文章于 2021-12-26 21:30:39 发布 · 1.9k 阅读

CC 4.0 BY-SA版权

文章标签：

4 篇文章

订阅专栏

本文介绍如何在Ubuntu 14.10系统中搭建Hadoop开发环境，包括使用Eclipse作为IDE并配置Hadoop插件的过程。还介绍了如何在Eclipse中编写Hadoop程序，使用jar命令进行打包，并最终将打包好的jar文件提交到Hadoop分布式集群中运行。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Linux系统(Ubuntu14.10)下Hadoop开发环境搭建
下载Eclipse，解压安装，下载hadoop-eclipse-plugin-2.5.1.jar插件，放至/eclipse/plugins/目录下。创建hadoop连接。这样就可以用eclipse编写Hadoop程序，调试正确后，就可以打成jar包，提交到Hadoop分布式集群中运行。注意，在Eclipse中运行程序，并没有提交到Hadoop集群中去。
Eclipse中编写Hadoop程序
由于Hadoop插件装好了，Eclipse中会出现一个“Map/Reduce Project”选项，根据自己的需求，编写Hadoop程序代码。调试之后，就可以打包了。打包的方式基本有两类，一类用jar命令，另一类就是Eclipse自己Export打包。这里选择第一类，比较方便。
jar打包命令
在终端输入jar打包命令，并指定主类：jar -cvfe filename.jar package1.package2.MainClassName package1/package2/MainClassName.class。注意，这个命令执行时，要先切换用户（Eclipse拥有者用户），并进入Eclipse工程文件下的bin目录。
提交jar包到Hadoop分布式集群上运行
切换到Hadoop用户，将filename.jar复制到Hadoop目录下，通过命令运行jar包： bin/hadoop jar filename.jar
打包及运行的终端命令