1.先来看一下定义的节点功能
2.设置namenode登录datanode的免密登录
在namenode执行:
$ ssh-keygen -t dsa -P ” -f ~/.ssh/id_dsa
$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
3.在所有的datanode节点都执行:
$ ssh-keygen -t dsa -P ” -f ~/.ssh/id_dsa
$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
4.把namenode节点的公钥id_dsa.pub重定向追加到所有datanode的 ~/.ssh/authorized_keys文件中
cat ~/.ssh/id_dsa.pub >> ssh root@node2: ~/.ssh/authorized_keys
5.验证免密登录是否成功:
在namenode上执行命令:ssh root@node2,能够不用密码连接上就说明免密设置成功了
6.配置core-site.xml文件
vi /hadoop/etc/hadoop/core-site.xml
<configuration>
<property>
<!--这是配置namenode的ip和端口-->
<name>fs.defaultFS</name>
<value>hdfs://node1:9000</value><!--node1的IP要在/etc/hosts里面配置好-->
</property>
<property>
<!--这是配置hadoop持久化的目录-->
<name>hadoop.tmp.dir</name>
<value>/var/hadoop-2.6/fully</value>
</property>
</configuration>
7.配置hdfs-site.xml文件
vi /hadoop/etc/hadoop/hdfs-site.xml
<configuration>
<property>
<!--这是配置datanode的数量-->
<name>dfs.replication</name>
<value>3</value>
</property>
<property>
<!--这是配置secondary namenode所在的节点-->
<name>dfs.namenode.secondary.http-address</name>
<value>node2:50090</value>
</property>
</configuration>
8.配置datanode的节点列表
[root@node1 hadoop]# vi slaves
node2
node3
node4
9.启动hadoop的hdfs
执行命令:
$ bin/hdfs namenode -format
$ sbin/start-dfs.sh
10.浏览器打开HDFS验证启动是否正确
打开浏览器输入网址:http://node1:50070/
页面能正常打开,并且Live Nodes显示数量是3,则正常启动HDFS