Eclipse集成Hadoop插件详细过程

1.HDFS:hadoop分布式文件系统-->

        两种表现形式：1.hadoop fs shell命令：【hadoop fs -commond】

                                    2.java API方式访问:    【DistributedFileSystem】对应的HDFS

2.搭建IDE

      a. 查找hadoop的依赖jar包

   在{hadoop_home/share}目录下查找<.jar>文件，复制后拷贝至{hadoop_home}/_jar/

   在{hadoop_home}/_jar/目录下查找<sources>文件，剪切后拷贝至{hadoop_home}/_sources/

   在{hadoop_home}/_sources/目录下查找<test>文件，剪切后拷贝至{hadoop_home}/_test/

   {hadoop_home}/_jar/目录：hadoop java开发程序所依赖的jar包

   {hadoop_home}/_sources/目录：hadoop java开发程序所依赖的源码包

   {hadoop_home}/_test/目录：hadoop java开发程序所依赖的测试包

      b.集成eclipse环境

   1.将hadoop-eclipse-plugin-2.6.0.jar复制到{eclipse_home}/plugins下；

   2.重启eclise；

   3.校验安装是否成功：查看windows-->perferences-->hadoop Mapreduce

   4.在【hadoop Mapreduce】视图下，添加hadoop的安装路径：D:\hadoop-2.7.3

   5.创建hadoop的链接：

          a>.打开【MapReduce Locations】视图-->右键【新建hadoop Location...】-->弹出编辑窗口

           b>.dfs RPC 协议端口号为：9000       【注：默认为8020】

                 mapreduce RPC协议端口号为：9001  【注：默认为8021】

                 user name：hyxy     【注：集群名字】

                 host     ：master1  【注：master1在windows上映射对应的ip为192.168.14.139】

             c.配置windows Hadoop工具包

                                    1.拷贝hadoop.dll和winutils.exe至{hadoop_home}\bin;

                                    2.配置环境变量：HADOOP_HOME=D:\hadoop-2.7.3   ;

                                                                    PATH = %HADOOP_HOME%\bin;

                          d.创建工程，编写API