Hadoop2.5.1 Eclipse linux java开发环境配置

1.按照之前的文档和资源，确保hadoop的正确安装和例子的正常运行
 
2.安装Eclipse：sudo yum install eclipse
 
3.获取hadoop-eclipse-plugin-2.5.1.jar插件（已上传课程中心），下载网址：
http://download.youkuaiyun.com/detail/tondayong1981/7920973 
 
4．将 hadoop-eclipse-plugin-2.5.1.jar插件放到 eclipse目录的‘plugins’目录下（一般默认路径为/usr/lib64/eclipse/plugins/），并重新启动eclipse
 
5.选择‘Window’菜单下的‘Preference’，选中‘HadoopMap/Reduce’，设置 hadoop
安装目录
 

6. 点击 eclipse右上角 图标，切换工作环境至‘Map/Reduce’

7. 选择选项卡，新建‘HadoopLocation’

参数如下图所示。其中‘Location  name’为自己的用户名
在‘Advanced  Parameters’选项卡中，将‘hadoop.tmp.dir’设置为core-site.xml 文件中的‘hadoop.tmp.dir’参数值

8.完成上步操作之后，在 eclipse左边栏可以看到 dfs 的目录信息，同时可以新建目录
以及上传目录和文件等

 

9. Wordcount 测试
9.1.新建 Map/Reduce 工程
9.2.将 Wordcount代码拷入项目中
a.Wordcount 所需:WordCountDriver.java,WordCountMapper.java ,WordCountReducer.java都已上传至课程中心
b.在src下面新建file名为log4j.properties内容如下:
# Configure logging for testing: optionally with log file
log4j.rootLogger=WARN, stdout
log4j.rootLogger=INFO,stdout
log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n
log4j.appender.logfile=org.apache.log4j.FileAppender
log4j.appender.logfile.File=target/spring.log
log4j.appender.logfile.layout=org.apache.log4j.PatternLayout
log4j.appender.logfile.layout.ConversionPattern=%d %p [%c] - %m%n
不然INFO信息将不会显示。
文件结构如图：

9.4.执行注意事项：
a.输入文件或目录在 hdfs中必须已存在，比如‘/input’已存在
b.输出目录在 hdfs 中必须不存在，比如‘/output’不存在
c.执行时，选择‘RunAs’—>‘Run on Hadoop’，选中新建的hadoop location如图： 

d.可以在 eclipse的‘console查看作业的执行状态

 

e.如出现‘allocatememory’错误，可以将‘hadoop-env.sh’中的‘# export HADOOP_HEAPSIZE=2000’该行的‘#’去掉，或者增加虚拟机的内存