安装单机模式hadoop的流程

最新推荐文章于 2024-10-20 19:18:26 发布

原创最新推荐文章于 2024-10-20 19:18:26 发布 · 149 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#Hadoop #SSH #Java #Ubuntu #配置管理

随手记下专栏收录该内容

50 篇文章

订阅专栏

本文详细介绍了如何在Ubuntu9.10系统上安装并配置Hadoop环境，包括安装SSH服务、JDK、Hadoop组件、配置相关文件、格式化HDFS及启动Hadoop集群的过程。

安装环境:
Ubuntu 9.10
hadoop 0.20.2

1.安装ssh服务

1) sudo apt-get install openssh-server
2) 生成key用于 ssh localhost 的时候不用输入密码
$ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

这时候,如果提示：Agent admitted failure to sign using the key.
$ ssh-agent
$ ssh-add id_rsa //这行在~/.ssh/内执行的

3) ssh local
如果提示: ssh: connect to host 133.133.133.65 port 22: Connection refused
方法一（推荐）：
修改/etc/passwd文件，在其中加入
sshd:x:74:74:Privilege-separated SSH:/var/empty/sshd:/sbin/nologin
参考
http://www.unixguide.net/comments/sun/ssh_installation.shtml/37.shtml
http://www.gipsky.com/modules/newbb/viewtopic.php?topic_id=966

方法二（不推荐）：
修改/etc/ssh/sshd_config文件
将其中
UsePrivilegeSeparation yes
修改为
UsePrivilegeSeparation no
虽然能解决问题，但是降低了ssh的安全级别

4）这时候 ssh local 真的不需要密码就可以登录了..

2.安装jdk

这个就不需要说了..配出来java -v就行了

3.安装hadoop

1)解压到/opt/hadoop


$ tar zxvf hadoop-0.20.2.tar.gz
$ sudo mv hadoop-0.20.2 /opt/
$ sudo chown -R hadoop:hadoop /opt/hadoop-0.20.2
$ sudo ln -sf /opt/hadoop-0.20.2 /opt/hadoop

4.配置 hadoop-env.sh

1）在hadoop/conf 里面hadoop-env.sh增加


export JAVA_HOME=/usr/jdk1.6.0.18
export HADOOP_HOME=/opt/hadoop
export PATH=$PATH:/opt/hadoop/bin

5.配置文件

1)編輯 /opt/hadoop/conf/core-site.xml


<configuration>
  <property>
    <name>fs.default.name</name>
    <value>hdfs://localhost:9000</value>
  </property>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/tmp/hadoop/hadoop-${user.name}</value>
  </property>
</configuration>

2)編輯 /opt/hadoop/conf/hdfs-site.xml


<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
</configuration>

3)編輯 /opt/hadoop/conf/mapred-site.xml


<configuration>
  <property>
    <name>mapred.job.tracker</name>
    <value>localhost:9001</value>
  </property>
</configuration>

6.格式化hdfs


$ cd /opt/hadoop
$ source conf/hadoop-env.sh
$ hadoop namenode -format

提示信息一大堆...

7.启动hadoop


$ sudo ./start-all.sh  //在hadoop/bin下执行

8.完成后的测试


http://localhost:50030/ - Hadoop 管理接口

后续还会继续补充...............