Eclipse下运行hadoop自带的mapreduce程序--wordcount

最新推荐文章于 2024-03-27 22:10:42 发布

njyzf

最新推荐文章于 2024-03-27 22:10:42 发布

阅读量2k

点赞数

CC 4.0 BY-SA版权

分类专栏： Hadoop

本文链接：https://blog.youkuaiyun.com/jshayzf/article/details/8457457

Hadoop 专栏收录该内容

12 篇文章

订阅专栏

本文介绍如何配置 Hadoop 0.20.2 版本的伪分布式环境，并集成 Eclipse 开发环境。具体步骤包括下载 Hadoop 和 Eclipse，配置 Hadoop 的核心文件如 hadoop-env.sh、hdfs-site.xml、core-site.xml 和 mapred-site.xml，安装 Eclipse 插件等。同时解决了不同用户权限下访问 HDFS 的问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

参考：

1 http://phz50.iteye.com/blog/932373

2 http://www.cnblogs.com/acmy/archive/2011/10/28/2227901.html

1、下载hadoop-0.20.2

2、下载eclipse3.3

3、配置hadoop-0.20.2伪分布式模式

(1)在hadoop-env.sh最后添加：export JAVA_HOME=/usr/local/jdk1.6

(2)hdfs-site.xml

<configuration>
   <property>
       <name>dfs.replication</name>
       <value>1</value>
   </property>

</configuration>

(3)core-site.xml

<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>

(4)mapred-site.xml

<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
</configuration>

4、将hadoop-0.20.2自带的eclipse插件拷贝到eclipse/plugins目录下。

cp hadoop-0.20.2/contrib/eclipse-plugin/hadoop-0.20.2-eclipse-plugin.jar eclipse/plugins

5、打开eclipse窗口

需要注意的问题是，hadoop可能是以root权限安装的，运行eclipse的时候可能是普通权限，这会导致eclipse运行hadoop程序的时候，不能访问hdfs文件系统。解决方法有二：

1）放开该目录（/user/root)的权限： bin/hadoop fs -chmod 777 /user/root

2)修改hadoop配置文件：conf/hdfs-core.xml

<name>dfs.permissions</name>

<value>false</value>

if"true",enable permission checking in HDFS.if"false",permission checking is turned off,but all other behavior is unchanged.Switching from one parameter value to the other does not change the mode,owner or group of files or directories .

</description>

</property>

修改完，重启hadoop生效。

3、eclipse设置main的参数时，目录写完整

4、先在终端，bin/start-all.sh,再在eclipse里面run as hadoop