Hadoop03 Hdfs完整集群搭建

最新推荐文章于 2024-08-25 12:13:51 发布

原创最新推荐文章于 2024-08-25 12:13:51 发布 · 177 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#hdfs #hadoop #大数据

hadoop-hdfs 专栏收录该内容

5 篇文章

订阅专栏

文章详细描述了如何进行Hadoop的分布式部署，包括NameNode和DataNode的设置，以及SecondaryNameNode的配置。在NameNode上设置了内存优化和持久化目录，DataNode的数据目录也进行了修改。所有节点的JDK和HADOOP_HOME环境变量需保持一致，配置文件在各节点间同步，并执行格式化和启动命令。

部署运行你感兴趣的模型镜像

部署分布

NameNode 是基于内存最好单独部署

node1 NameNode DataNode

node2 DataNode

node3 DataNode

node4 SNN

node 2 node3 node4 分别部署Jdk 和环境变量HADOOP_HOME 必须跟node1一样

修改配置文件

node1修改文件

vim hdfs-site.xml

<configuration>
        <!-- 副本数量为2-->
        <property>
        <name>dfs.replication</name>
        <value>2</value>
        </property>
<!-- 修改默认NameNode持久化目录 防止内存紧缺时回收/tmp下文件  -->
        <property>
                <name>dfs.namenode.name.dir</name>
                <value>/data/DataOrLogs/hadoop/full/hadoop/local/dfs/name</value>
        </property>

        <!-- 修改默认DataNode持久化目录 防止内存紧缺时回收/tmp下文件  -->
        <property>
                <name>dfs.datanode.data.dir</name>
                <value>/data/DataOrLogs/hadoop/full/hadoop/local/dfs/data</value>
        </property>

 <!-- SecondaryNameNode 放在Node4 -->
         <property>
                <name>dfs.namenode.secondary.http-address</name>
                <value>node4:50090</value>
        </property>
                <property>
                <name>dfs.namenode.checkpoint.dir</name>
                <value>/data/DataOrLogs/hadoop/full/hadoop/local/dfs/secondary</value>
        </property>
</configuration>

vim slaves

node1
node2
node3

复制到node2 node3 node4

scp -r hadoop-2.6.5/ root@node2:/usr/local/soft/hadoop-2.6.5/
scp -r hadoop-2.6.5/ root@node3:/usr/local/soft/hadoop-2.6.5/
scp -r hadoop-2.6.5/ root@node4:/usr/local/soft/hadoop-2.6.5/

启动

格式化

hdfs namenode -format

启动

start-dfs.sh

您可能感兴趣的与本文相关的镜像

Python3.8

Conda

Python

Python 是一种高级、解释型、通用的编程语言，以其简洁易读的语法而闻名，适用于广泛的应用，包括Web开发、数据分析、人工智能和自动化脚本