hadoop2.6.5配置HDFS并运行

本文详细介绍了如何在Hadoop集群中进行免密登录配置、核心文件core-site.xml及hdfs-site.xml的设置方法、datanode节点列表创建、HDFS启动步骤及验证方式等内容。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

1.先来看一下定义的节点功能

这里写图片描述

2.设置namenode登录datanode的免密登录

在namenode执行:

$ ssh-keygen -t dsa -P ” -f ~/.ssh/id_dsa

$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

3.在所有的datanode节点都执行:

$ ssh-keygen -t dsa -P ” -f ~/.ssh/id_dsa

$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

4.把namenode节点的公钥id_dsa.pub重定向追加到所有datanode的 ~/.ssh/authorized_keys文件中

cat ~/.ssh/id_dsa.pub >> ssh root@node2: ~/.ssh/authorized_keys

5.验证免密登录是否成功:

在namenode上执行命令:ssh root@node2,能够不用密码连接上就说明免密设置成功了

6.配置core-site.xml文件

vi /hadoop/etc/hadoop/core-site.xml

<configuration>
    <property>
        <!--这是配置namenode的ip和端口-->
        <name>fs.defaultFS</name>
        <value>hdfs://node1:9000</value><!--node1的IP要在/etc/hosts里面配置好-->
    </property>

    <property>
        <!--这是配置hadoop持久化的目录-->
        <name>hadoop.tmp.dir</name>
        <value>/var/hadoop-2.6/fully</value>
    </property>

</configuration>

7.配置hdfs-site.xml文件

vi /hadoop/etc/hadoop/hdfs-site.xml

<configuration>
    <property>
    <!--这是配置datanode的数量-->
        <name>dfs.replication</name>
        <value>3</value>
    </property>
    <property>
        <!--这是配置secondary namenode所在的节点-->
        <name>dfs.namenode.secondary.http-address</name>
    <value>node2:50090</value>
    </property>
</configuration>

8.配置datanode的节点列表

[root@node1 hadoop]# vi slaves 

node2
node3
node4

9.启动hadoop的hdfs

执行命令:

$ bin/hdfs namenode -format
$ sbin/start-dfs.sh

10.浏览器打开HDFS验证启动是否正确

打开浏览器输入网址:http://node1:50070/

页面能正常打开,并且Live Nodes显示数量是3,则正常启动HDFS

这里写图片描述
这里写图片描述

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值