Hadoop学习（一） - 搭建环境&示例程序

最新推荐文章于 2025-11-26 20:23:01 发布

原创最新推荐文章于 2025-11-26 20:23:01 发布 · 161 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#大数据 #开发工具 #java

Hadoop;Mapper/Reduce 专栏收录该内容

1 篇文章

订阅专栏

本文详细介绍了如何在CentOS 6.5环境下搭建Hadoop 2.2.0单机版环境，包括配置环境变量、安装步骤及Eclipse插件集成等关键环节。

环境：

CentOS release 6.5 (Final)

hadoop-2.2.0 下载地址: http://archive.apache.org/dist/hadoop/core/hadoop-2.2.0/hadoop-2.2.0.tar.gz

hadoop-eclipse-kepler-plugin-2.2.0 下载地址: http://pan.baidu.com/s/1mgvCVgc

eclipse 3.3.2 (eclipse 版本可随意，但是 hadoop的版本和插件的版本最好要一致)

1.配置hadoop

配置 etc/hadoop/hadoop-env.sh h和 etc/hadoop/yarn-env.sh 中的JAVA_HOME路径

export JAVA_HOME=/usr/java/jdk1.7.0_67/

配置文件 hdfs-site.xml

<configuration>
<property>
    <name>fs.default.name</name>
    <value>hdfs://localhost:9000/</value>
  </property>
  <property>
  <name>mapred.job.tracker</name>
   	<value>localhost:9001</value>
  </property>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
  <property> 
  <name>mapred.child.java.opts</name> 
  <value>-Xmx1024m</value> 
</property> 
 <property>
        <name>dfs.permissions</name>
        <value>true</value>
</property>
</configuration>

2启动

./bin/hadoop namenode -format

./sbin/start-all.sh

3.eclipse 插件安装, 将附件中jar包拷到eclipse plugins 目录，重启eclipse