阿里云ECS搭建Hadoop问题记录-内外网问题/namenode无法启动/datanode数量错误/yran无法启动等

最新推荐文章于 2024-06-30 16:43:18 发布

原创最新推荐文章于 2024-06-30 16:43:18 发布 · 314 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#阿里云 #hadoop #云计算

本文详细介绍了如何在三台ECS上使用JDK-1.8.1和Hadoop-3.3.0搭建Hadoop实例，包括配置hostname、hosts文件、安全组，以及对core-site.xml和yarn-site.xml的配置，解决NameNode和DataNode启动问题，确保HDFS和YARN的Web界面访问正常。

三台ECS搭建Hadoop实例

JDK-1.8.1

Hadoop-3.3.0

CentOS-8.5

话不多说直接进入主题，导致这一列问题的原因内外网问题！！

你的hostname一定要和你设置域名映射进行匹配的上

如果配置完启动了，web页面访问不了

去ECS控制台-实例-点击实例ID-安全组-手动添加安全组-输入端口号即可

如下：

# 查看 hostname
cat /etc/hostname

# 修改hostname
vim /etc/hostname

# 查看 hosts文件
cat /etc/hosts

# 修改host文件
vim /etc/hosts

修改完域名之后查看Hadoop的配置的slaver文件，如果没有自行创建一个即可，也有点版本是workers，切记如果为集群模式的话，三台都要配置的一样 master节点在最上面

然后就是xml文件的配置：注意我已经在Hadoop的文件夹下了

打开core-site.xml

vim etc/hadoop/core-site.xml

配置hdfs地址以及端口

-->
<configuration>
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://bigdata01:9000</value>
        </property>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/usr/local/data</value>
        </property>
</configuration>

接下来配置yarn-site.xml

还是设置域名

<configuration>

<!-- Site specific YARN configuration properties -->
<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>bigdata01</value>
</property>
<!-- NodeManager上运行的附属服务。需配置成mapreduce_shuffle,才可运行MR程序。-->
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>
<!-- 每个容器请求的最小内存资源（以MB为单位）。-->
<property>
  <name>yarn.scheduler.minimum-allocation-mb</name>
  <value>512</value>
</property>
<!-- 每个容器请求的最大内存资源（以MB为单位）。-->
<property>
  <name>yarn.scheduler.maximum-allocation-mb</name>
  <value>2048</value>
</property>
<!-- 容器虚拟内存与物理内存之间的比率。-->
<property>
  <name>yarn.nodemanager.vmem-pmem-ratio</name>
  <value>4</value>
</property>
</configuration>

最重要的一步开启节点与节点之间的访问走外网

<!-- Put site-specific property overrides in this file. -->
<configuration>
                <!-- 这是复制的副本数量 -->
                <property>
                <name>dfs.replication</name>
                <value>3</value>
        </property>
                <!-- 这是数据节点保存数据的目录，需要自己创建 -->
        <property>
                <name>dfs.datanode.data.dir</name>
                <value>file:///usr/local/data/dt</value>
        </property>
<property>
    <name>dfs.client.use.datanode.hostname</name>
    <value>true</value>
    <description>only cofig in clients</description>
</property>
</configuration>

！！！注意！！！

这里的配置这是解决NameNode启动报错，或者DataNode启动不全，或Yarn的ResourceManager

启动失败的解决方案，而不是Hadoop集群的安装流程。

JPS查看进程

node1

按照正常的SNN作为备份进程不应该和NN一个节点，这里刚调试完请忽略

node2

node3

查看web界面

HDFS

如果配置的9000端口 HDFS的访问路径为你的hostname和9870端口号

http://bigdata01:9870/dfshealth.html#tab-overview

Yarn

http://bigdata01:8088/cluster/nodes