Windows下Eclispe远程开发Mapreduce程序
1.将hadoop-eclipse-plugin-2.6.0.jar拷贝到MyEclispe安装目录下的/plugins文件夹下
2.Windows安装hadoop
1)解压hadoop-2.5.0.tar.gz到D:/根目录
右键winrar--》属性--》兼容性-》勾选 以管理员运行此程序
打开==》浏览到到hadoop-2.5.0.tar.gz==>解压到 D:/根目录
2)配置hadoop的环境变量
HADOOP_HOME=【hadoop的解压目录】 //新建项
path=%HADOOP_HOME%\bin;//在原有配置的最前面
;%HADOOP_HOME%\bin//在原有配置的最后面
;%HADOOP_HOME%\bin; //在原有位置的中间插入
3)测试hadoop是否安装好
命令行输入:hadoop-h
3.配置参数
1)配置hadoop解压目录
打开myeclipse点击Windows菜单选择preference
2)配置HDFS和yarn
点击Windows菜单,选择open perspective下的other,进入open perspective窗体选择Map/Reduce。在控制台下的Map/Reducelocations下新建New Hadoop location..
4.拷贝winutils.exe 和hadoop.dll到${hadoop_HOME}/bin
5.单独拷贝hadoop.dll到C:\Windows\System32
6.创建工程的两种方式
1)使用插件,自动导入jar包,使用模板创建mapperreducer
driver类
2)创建maven工程
2-1)解压apache-maven-3.0.5.tar.gz
2-2)配置maven环境变量
MAVEN_HOME=[maven的解压目录]
path=%MAVEN_HOME%/bin
2-3)命令提示符 mvn --v
ApacheMaven 3.0.5 (r01de14724cdef164cd33c7c8c2fe155faf9602da; 2013-02-1921:51:28+0800)
3)修改apache-maven-3.0.5\conf\settings.xml
<localRepository>C:\Users\Administrator\.m2\repository</localRepository>
修改为:<localRepository>repository解压目录</localRepository>
4)解压repository.tar.gz到settings.xml配置文件中指定的repository
5)配置使用自己解压的maven
6)将${hadoop_Home}/ect/hadoop/log4j.properties拷贝到项目的src目录
在linux中的hadoop安装目录下的etc/hadoop/hdfs-site.xml添加如下配置
,重启HDFS的进程
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>