hdfs 配置和启动

这篇博客详细介绍了如何配置并启动Hadoop的HDFS。步骤包括解压安装包,创建软连接,配置环境变量,修改hadoop-env.sh、core-site.xml和hdfs-site.xml文件,进行namenode格式化,启动namenode和datanode,并提供了访问namenode webUI的URL。此外,还提到了使用daemon方式来停止和启动服务。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

1:解压安装包:
tar zxf hadoop-2.7.6.tar.gz
2: 创建软连接
ln -s hadoop-2.7.6 hadoop-current
3: ~/.bashrc用户家目录下的私有环境变量设定,将hadoop命令添加到path,这样可以直接使用hadoop命令
vi ~/.bashrc
export PATH=/mnt/home/1141797198/hadoop-current/bin:$PATH
4:source ~/.bashrc
5: cd hadoop-current/etc/hadoop/
6: vi hadoop-env.sh 设置 jdk
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk
7: vi core-site.xml

     <configuration>
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://bigdata0:30961</value>
        </property>
</configuration>

8 : vi hdfs-site.xml

        <property>
            <name>dfs.namenode.rpc-address</name>
                <value>bigdata0:30961</value>
        </property>

        <property>
                <name>dfs.namenode.http-address</name>
                <value>bigdata0:30962</value>
        </property>

        <property>
                <name>dfs.datanode.address</name>
                <value>bigdata0:30963</value>
        </property>

        <property>
                <name>dfs.datanode.http.address</name>
                <value>bigdata0:30964</value>
        </property>

        <property>
                <name>dfs.datanode.ipc.address</name>
                <value>bigdata0:30965</value>
        </property>

        <property>
                <name>dfs.namenode.name.dir</name>
                <value>/mnt/home/1141797198/name</value>
        </property>
        <property>
                <name>dfs.datanode.data.dir</name>
                <value>/mnt/home/1141797198/data/0,/mnt/home/1141797198/data/1,/mnt/home/1141797198/data/2</value>
        </property>

9: 格式化
hdfs namenode -format
10:hdfs namenode 启动namenode
11: http://bigdata0:30962 访问namenode webUI
12: makdir -p data/{0..2}
13: hdfs datanode 启动datanode

14:使用daemon方式停止和启动namenode 和datanode:
/mnt/home/1141797198/hadoop-current/sbin/hadoop-daemon.sh stop datanode
/mnt/home/1141797198/hadoop-current/sbin/hadoop-daemon.sh start datanode
/mnt/home/1141797198/hadoop-current/sbin/hadoop-daemon.sh stop namenode
/mnt/home/1141797198/hadoop-current/sbin/hadoop-daemon.sh start namenode

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值