Ubuntu 13.10下Hadoop 2.2 安装、配置、编译（伪分布式）

最新推荐文章于 2020-12-07 01:50:34 发布

mikemoto

最新推荐文章于 2020-12-07 01:50:34 发布

阅读量515

点赞数

本文详细介绍了如何配置和启动 Hadoop 2.2.0，包括安装 SSH 服务器、配置环境变量、修改配置文件、启动及验证 HDFS 和 MapReduce 服务。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1、安装JDK。在此不做解说，上篇博文里已介绍过。http://www.cnblogs.com/lifeinsmile/p/3578677.html

2、配置ssh。

　　ssh服务，用于管理远程Hadoop守护进程。

2.1安装ssh server：$sudo apt-get install openssh-server

2.2免密码ssh的设置: $ssh-keygen –t rsa (输入命令后一路回车即可)。

2.3设置密钥授权：

　　　　$ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

　　 $cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

2.4安装完成后，测试运行：$ ssh localhost (尝试用ssh连接本机，如果不需要输入密码则成功)

3、hadoop 2.2.0编译。

　　可参考：http://blog.youkuaiyun.com/cruise_h/article/details/18709969

　　需要注意的是，在进行编译时，一定要进入解压目录，确保当前目录下存在pom.xml，否则编译失败。

4、hadoop2.2配置。（编译好的文件夹hadoop-2.2.0放在目录/home/hadoop 下）

　　4.1修改全局环境变量。

　　　　$sudo gedit /etc/profile　　在文中添加一行：export HADOOP_HOME=/home/hadoop/hadoop-2.2.0

　　4.2修改配置文件。

　　　　待修改的配置文件存放于/home/haoop/hadoop-2.2.0/etc/hadoop，可将下列代码直接粘贴到相应文件内。

　　　　文件core-site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
    
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/home/hadoop/hadoop-2.2.0/hadoop_tmp</value>
    </property>
    
</configuration>

　　文件hdfs-site.xml

<configuration>
<property>
    <name>dfs.namenode.name.dir</name>
    <value>/home/hadoop/namenode </value>
</property>
<property>
    <name>dfs.datanode.data.dir</name>
    <value>/home/hadoop/datanode</value>
</property>
</configuration>

　　文件mapred-site.xml

<configuration>
<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>
</configuration>

5、hadoop启动。

　　以下操作均在目录/home/hadoop/hadoop-2.2.0下进行。

　　5.1 格式化namenode: bin/hdfs namenode -format

　　5.2 启动namenode,datanode:　　

　　　　sbin/hadoop-daemon.sh start namenode

　　　　sbin/hadoop-daemon.sh start datanode

　　5.3测试是否成功启动namenode.

　　　　jps

　　　　若成功，测试结果

　　　　　　13679 Jps
　　　　　　13639 DataNode
　　　　　　13566 NameNode

　　5.4 启动manager管理并测试。

　　　　sbin/yarn-daemon.sh start resourcemanager

　　　　sbin/yarn-daemon.sh start nodemanager

　　　　jps

　　配置hadoop2.2过程中参考其他博文有http://my.oschina.net/u/179537/blog/189239