（三）hadoop学习：eclipse的hadoop插件制作

转自：http://blog.youkuaiyun.com/reaper1022/article/details/11009797

环境

WIN7 64bit

Eclipse for Java EE 64bit，内核版本 4.3.0 246M  http://mirrors.neusoft.edu.cn/eclipse/technology/epp/downloads/release/kepler/R/eclipse-jee-kepler-R-win32-x86_64.zip

Hadoop 1.2.1 下载源码完整版本，下载时注意文件名字和大小60.8M https://issues.apache.org/jira/secure/attachment/12425381/hadoop-0.20.1-eclipse-plugin.jar

JDK 1.7.0_25-b17 http://download.oracle.com/otn-pub/java/jdk/7u25-b17/jdk-7u25-windows-x64.exe

ANT 1.9.2 http://apache.fayea.com/apache-mirror//ant/binaries/apache-ant-1.9.2-bin.zip

JDK安装

.exe格式，一路下一步，注意修改安装路径C:\Java

安装后，我的电脑右键属性-》高级系统设置-》高级-》Path 中加入 ;C:\Java\jdk1.7.0_25\bin 注意前面的半角分号

ANT安装

解压至D盘根目录，注意解压后路径格式如下：D:\apache-ant-1.9.2

加入环境变量 ;D:\apache-ant-1.9.1\bin

Eclipse安装

解压至D盘根目录 E:\eclipse

Hadoop安装

解压至D盘根目录D:\hadoop-1.2.1

插件配置

官方文档位置：http://wiki.apache.org/hadoop/EclipsePlugIn

注意：在官方文档位置下有两个链接  JIRA MAPREDUCE-1262   JIRA MAPREDUCE-1280

这两个链接是官方提供好的Eclipse插件包，可以直接下载下来放置在E:\eclipse\plugins 目录下，重启Eclipse 后，可见

官方文字中提供了几点需要注意的地方

• 编译插件过程需要使用hadoop类文件
• 编译前需要在D:\hadoop-1.2.1\src\contrib\eclipse-plugin\build.properties中设置eclipse.home变量
• 执行编译需要确认一个Hadoop版本信息

1.修改D:\hadoop-1.2.1\src\contrib\eclipse-plugin\build.properties 文件

加入eclipse.home和版本信息（版本变量名再未加入时ant编译会报错），编辑后如下

[plain]  view plain copy

1. #   Licensed under the Apache License, Version 2.0 (the "License");  
2. #   you may not use this file except in compliance with the License.  
3. #   You may obtain a copy of the License at  
4. #  
5. #       http://www.apache.org/licenses/LICENSE-2.0  
6. #  
7. #   Unless required by applicable law or agreed to in writing, software  
8. #   distributed under the License is distributed on an "AS IS" BASIS,  
9. #   WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.  
10. #   See the License for the specific language governing permissions and  
11. #   limitations under the License.  
12.   
13.   
14. output.. = bin/  
15. bin.includes = META-INF/,\  
16.                plugin.xml,\  
17.                resources/,\  
18.                classes/,\  
19.                classes/,\  
20.                lib/  
21. eclipse.home=D:\eclipse  
22. version=1.2.1  

2.修改D:\hadoop-1.2.1\src\contrib\eclipse-plugin\build.xml文件，需要在文件中加入Hadoop类路径（按理说，这个不应该添加，在build文件中指向的类路径为build目录，当然前提是已经编译过Hadoop的源码，成功在./build目录中生成类文件，我们并没有编译源码，好吧直接饮用下载包中的内容）

找到文件中eclipse-sdk-jars标签，修改成如下内容（第二个fileset就是新增的内容，可能复制代码有问题，注意一下。当然如果您熟悉ANT可以自己定义新的路径）

[plain]  view plain copy

1.  <path id="eclipse-sdk-jars">  
2.    <fileset dir="${eclipse.home}/plugins/">  
3.      <include name="org.eclipse.ui*.jar"/>  
4.      <include name="org.eclipse.jdt*.jar"/>  
5.      <include name="org.eclipse.core*.jar"/>  
6.      <include name="org.eclipse.equinox*.jar"/>  
7.      <include name="org.eclipse.debug*.jar"/>  
8.      <include name="org.eclipse.osgi*.jar"/>  
9.      <include name="org.eclipse.swt*.jar"/>  
10.      <include name="org.eclipse.jface*.jar"/>  
11.   
12.      <include name="org.eclipse.team.cvs.ssh2*.jar"/>  
13.      <include name="com.jcraft.jsch*.jar"/>  
14.    </fileset>  
15. <!--build need hadoop classes file.-->  
16. <fileset dir="../../../">  
17.     <include name="hadoop*.jar"/>  
18. </fileset>  
19.  </path>  

好了，差不多了。此时运行会报错，原因是这个文件中还需要拷贝两个文件到插件包中，和上面道理一样，由于我们没编译整个项目，所以需要修改，直接引用包中内容。

然后查询target name="jar"，修改该标签内的内容（好多教程中，说最后执行 ant jar，实际上就是直接执行这部分，如果不加jar ，则执行project 标签 default 指向的target ，还好默认就是jar target） ，注释两个copy，新增两个copy，可以看到需要了两个jar，一个是hadoop-core-${version}.jar ，另一个是commons-cli-${commons-cli.version}.jar 。这两个包最后会自动打入到插件包中，可以从官网下载的文件中或自己编译的文件看到结果

[plain]  view plain copy

1. <target name="jar" depends="compile" unless="skip.contrib">  
2.     <mkdir dir="${build.dir}/lib"/>  
3.     <!--  
4.     <copy file="${hadoop.root}/build/hadoop-core-${version}.jar" tofile="${build.dir}/lib/hadoop-core.jar" verbose="true"/>  
5.     <copy file="${hadoop.root}/build/ivy/lib/Hadoop/common/commons-cli-${commons-cli.version}.jar"  todir="${build.dir}/lib" verbose="true"/>  
6.     -->  
7.      <copy file="${hadoop.root}/hadoop-core-${version}.jar" tofile="${build.dir}/lib/hadoop-core.jar" verbose="true"/>  
8.     <copy file="${hadoop.root}/lib/commons-cli-${commons-cli.version}.jar"  todir="${build.dir}/lib" verbose="true"/>  
9.   
10.     <jar  
11.       jarfile="${build.dir}/hadoop-${name}-${version}.jar"  
12.       manifest="${root}/META-INF/MANIFEST.MF">  
13.       <fileset dir="${build.dir}" includes="classes/ lib/"/>  
14.       <fileset dir="${root}" includes="resources/ plugin.xml"/>  
15.     </jar>  
16.   </target>  

恩，该有的都有了，启动cmd 

切换目录至D:\hadoop-1.2.1\src\contrib\eclipse-plugin

输入 ant 然后回车，最后提示

BUILD SUCCESSFUL
Total time: 5 seconds

成功！

WIN+E 资源管理器，进入目录 D:\hadoop-1.2.1\build\contrib\eclipse-plugin ，看到文件 hadoop-eclipse-plugin-1.2.1.jar ，恩，我们自己的插件出来了

拷贝 hadoop-eclipse-plugin-1.2.1.jar 文件至 D:\eclipse\plugins 目录，确认安装吧

确认安装

启动Eclipse 后 Window->Open Perspective->Other ，弹出对话框列表中，会出现图标为蓝色大象，文字为Map/Reduce ，就在JPA下方

集成成功！