Windows下Eclispe远程开发Mapreduce程序

本文介绍如何在Windows环境下使用Eclipse进行MapReduce程序的开发。包括安装配置Hadoop,设置Eclipse插件,配置HDFS和YARN,以及创建MapReduce工程的具体步骤。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

Windows下Eclispe远程开发Mapreduce程序

1.将hadoop-eclipse-plugin-2.6.0.jar拷贝到MyEclispe安装目录下的/plugins文件夹下

2.Windows安装hadoop

         1)解压hadoop-2.5.0.tar.gz到D:/根目录

         右键winrar--》属性--》兼容性-》勾选 以管理员运行此程序

         打开==》浏览到到hadoop-2.5.0.tar.gz==>解压到 D:/根目录

 

         2)配置hadoop的环境变量

         HADOOP_HOME=【hadoop的解压目录】    //新建项

         path=%HADOOP_HOME%\bin;//在原有配置的最前面

         ;%HADOOP_HOME%\bin//在原有配置的最后面

         ;%HADOOP_HOME%\bin;   //在原有位置的中间插入

3)测试hadoop是否安装好

         命令行输入:hadoop-h

3.配置参数

1)配置hadoop解压目录

打开myeclipse点击Windows菜单选择preference


2)配置HDFS和yarn

   点击Windows菜单,选择open perspective下的other,进入open perspective窗体选择Map/Reduce。在控制台下的Map/Reducelocations下新建New Hadoop location..


 

4.拷贝winutils.exe 和hadoop.dll到${hadoop_HOME}/bin

5.单独拷贝hadoop.dll到C:\Windows\System32

 

6.创建工程的两种方式

         1)使用插件,自动导入jar包,使用模板创建mapperreducer

         driver类

         2)创建maven工程

                   2-1)解压apache-maven-3.0.5.tar.gz

                   2-2)配置maven环境变量

                   MAVEN_HOME=[maven的解压目录]

                   path=%MAVEN_HOME%/bin

                   2-3)命令提示符  mvn --v

                   ApacheMaven 3.0.5 (r01de14724cdef164cd33c7c8c2fe155faf9602da; 2013-02-1921:51:28+0800)

         3)修改apache-maven-3.0.5\conf\settings.xml

          <localRepository>C:\Users\Administrator\.m2\repository</localRepository>

         修改为:<localRepository>repository解压目录</localRepository>

          4)解压repository.tar.gz到settings.xml配置文件中指定的repository

 

          5)配置使用自己解压的maven

 

          6)将${hadoop_Home}/ect/hadoop/log4j.properties拷贝到项目的src目录

 

在linux中的hadoop安装目录下的etc/hadoop/hdfs-site.xml添加如下配置

,重启HDFS的进程

<property>

         <name>dfs.permissions</name>

       <value>false</value>               

</property>

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

shujuboke

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值