1-hadoop安装、ssh、节点退役与服役

最新推荐文章于 2022-01-29 16:00:30 发布

转载最新推荐文章于 2022-01-29 16:00:30 发布 · 110 阅读

0 ·

CC 4.0 BY-SA版权

原文链接：http://www.cnblogs.com/lihaozong2013/p/10612727.html

本文详细介绍如何从零开始搭建Hadoop集群，包括虚拟机环境准备、静态IP配置、SSH免密登录设置、主机映射及Hadoop配置文件调整等关键步骤，并讲解了节点服役与退役流程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1、准备

　　四台虚拟机

　　①卸载openjdk

　　②安装jdk

2. 配置静态ip:

　　ip : 每个机器在internet上的唯一标识
　　子网掩码：必须结合IP地址一起使用，将某个IP地址划分成网络地址和主机地址两部分。
　　网关：网关既可以用于广域网互连，也可以用于局域网互连。网关是一种充当转换重任的计算机系统或设备
　　DNS ：它作为可以将域名和IP地址相互映射的一个分布式数据库，能够使人更方便的访问互联网，而不用去记住能够被机器直接读取的IP数串。

　 ①进入/etc/sysconfig/network-scripts目录，找到该接口的配置文件（ifcfg-xxxxx），

　　　　BOOTPROTO=static 　　　　　　　　　　 #改成静态连接
　　　　ONBOOT=yes
　　　　IPADDR=192.168.40.10 　　　　　　　　 #需要设置的静态ip,必须在网段内，需要自己查看虚拟机的网段
　　　　NETMASK=255.255.255.0　　　　　　　　 #子网掩码，虚拟机上有
　　　　GATEWAY=192.168.40.2 　　　　　　　　 #网关，路由器角色
　　　　DNS1=114.114.114.114　　　　　　　　 /#域名解析器

　　注：除了上面的几个属性，配置文件中其余的都是不必要的。

　　②关闭防火墙

　　　　systemctl stop firewalld.service　　　　 //关闭防火墙
　　　　systemctl disable firewalld.service　　　　 //永久关闭

　　　　systemctl status firewalld.service 　　　　//查看防火墙状态。出现：disavtive（dead）：说明防火墙已经关闭

　　③验证

　　　　ping www.baidu.com　　　　　　　　 //ping外网

　　　　ping 192.168.40.10　　　　　　　　　　//ping另一台linux机器

3、修改主机映射

　　vi /etc/hosts　添加以下映射

　　192.168.40.10   s10
　　192.168.40.11   s11
　　192.168.40.12   s12
　　192.168.40.13   s13

2、SSH

　　1、在用户名中的家目录中进入到.ssh 隐藏目录中:

　　　　cd ~

　　　　cd ./.ssh

　　2、生成秘钥:

　　　　ssh-keygen -t rsa

　　3、所有机器上上重复以上的步骤1、2步骤

　　4、每台机器将秘钥分配到其他机器(包括本机):

　　　　ssh-copy-id s10　　　　　　　//我的分布式有四台，分别是s10,s11,s12,s13,每台机器都得把公匙发出去，发给所有的集群，包括发给自己
　　　　ssh-copy-id s11
　　　　ssh-copy-id s12
　　　　ssh-copy-id s13

　　注：如果是root用户免密登录，上述的操作都在root用户下。

　　5、验证

　　　　ssh s11　　　　//能登录就行，第一次好像要输密码

3、hadoop安装：

　　①集群分配

　　　　s10：namenode，resourcemannager，secondary //名称节点，资源管理节点

　　　　s11：datanode，datamannager //数据节点
　　　　s12: datanode，datamannager //数据节点
　　　　s13：datanode，datamannager //数据节点

　　②修改配置文件

　　　　cd $HADOOP_HOME/etc/hadoop/

　　　　修改下面的四个文件

　　配置文件修改:

    ①core-site（名称节点及其文件保存路劲（默认文件系统））：

        <configuration>
    
            <property>
        
                <name>fs.defaultFS</name>
        
                <value>hdfs://192.168.40.10:9000</value>
    
            </property>
    
            <property>
        
                <name>hadoop.tmp.dir</name>
        
                <value>/opt/app/hadoop-2.7.2/data/tmp</value>
    
            </property>

        </configuration>

    ②hdfs-site（辅助名称节点、名称节点外部访问地址，是否开启权限）：

        <configuration>
    
            <property>
      
                <name>dfs.namenode.secondary.http-address</name>
      
                <value>192.168.40.10:50090</value>
    
            </property>
    
            <property>
     
                 <name>dfs.namenode.http-address</name>
      
                 <value>192.168.40.10:50070</value>
    
            </property>
    
            <property>
      
                <name>dfs.permissions.enabled</name>
      
                <value>false</value>
    
            </property>

        </configuration>

    ③yarn-site（mapreduce框架名、历史服务器外部访问地址，日志外部访问地址）：

        <configuration>

    
            <property>
        
                <name>mapreduce.framework.name</name>
        
                <value>yarn</value>
    
            </property>
    
    
            <property>
        
                <name>mapreduce.jobhistory.address</name>
        
                <value>192.168.40.10:10020</value>
    
            </property>
    
    
            <property>
        
                <name>mapreduce.jobhistory.webapp.address</name>
        
                <value>192.168.40.10:19888</value>
    
            </property>


        </configuration>

    ④mapred-site（resourcemanager节点，日志保存时间（7天），好像没有这个文件，需要 将mapred-site.xml.temple这个文件复制一份，然后名字改为mapred-site.xml）：

        <configuration>

            <property>
        
                <name>yarn.resourcemanager.hostname</name>
        
                <value>192.168.40.10</value>
  
            </property> 

  
            <property>
        
                <name>yarn.nodemanager.aux-services</name>
        
                <value>mapreduce_shuffle</value>
  
            </property>
  
  
            <property>
        
                <name>yarn.log-aggregation.retain-seconds</name>
        
                <value>604800</value>
  
            </property>



        </configuration>

    ⑤slave(名称节点)：

       s11
       s12
　　　　s13

　　格式化：

　　　　scp -r /opt/app/hadoop-2.7.2/etc/hadoop/ s11:/opt/app/hadoop-2.7.2/etc/ 　　　　 //目录分发（已存在则会覆盖）

　　　　rm -rf /opt/app/hadoop-2.7.2/data/tmp/* //删除目录文件(每一台)

　　　　hadoop namenode -format //格式化文件系统，会删除所有

　　启动：

　　　　start-all.sh
　　　　stop-all.sh　　　　　　//停止

4、节点退役与服役

　　1、准备工作：

　　　　①新节点的ip、hostname配置
　　　　②所有节点对新节点的主机映射、ssh配置
　　　　③将一个datanode的hadoop安装目录的scp给新节点
　　　　④新节点删除logs、data\tmp下面的所有文件

　　2、服役（namenode下配置）

　　　　①在slaves文件中添加新节点的主机映射
　　　　②新建dfs.include（白名单）、dfs.exclude（黑名单），并在白名单中输入所有的数据节点主机映射
　　　　③hdfs-site.xml

<property>
　　　　　　　　
　　　　　　　　<name>dfs.hosts</name>
　　　　　　　　<value>/home/hadoop/hadoop/etc/dfs.include</value>
　　　　　　</property>
　　　　　　<property>
　　　　　　　　
　　　　　　　　<name>dfs.hosts.exclude</name>
　　　　　　　　<value>/home/hadoop/hadoop/etc/dfs.exclude</value>
　　　　　　</property>

　　　　④单独启动节点（新节点中操作）

　　　　　　hadoop-daemon.sh start datanode //启动datanode，在50070端口可看到结果
　　　　　　yarn-daemon.sh start nodemanager //启动nodemannager，在8088端口可看见结果

　　　　⑤刷新节点

　　　　　　hdfs dfsadmin -refreshNodes

　　　　⑥平衡节点

　　　　　　start-balancer.sh

　　　　注：端口中查看可能会延迟一些时间

　　3、退役（namenode下配置）

　　　　①dfs.exclude（黑名单）文件中添加退役节点映射
　　　　②hdfs-site.xml

　　　　　<property>
　　　　　　　　<name>dfs.hosts.exclude</name>
　　　　　　　　<value>/opt/app/hadoop-2.7.2/etc/hadoop/dfs.exclude</value>
　　　　　</property>

　　　　④刷新节点

　　　　　　hdfs dfsadmin -refreshNodes

　　　　　　注：此时web中，会出现正在退役，对其数据进行拷贝，待到出现已经退役，则退役成功。

　　　　⑤单独关闭节点（新节点中操作）

　　　　　　hadoop-daemon.sh stop datanode
　　　　　　yarn-daemon.sh stop nodemanager

　　　　⑥ 删除dfs.include（白名单）中的新增节点的主机名称

　　　　⑦再次刷新节点

转载于:https://www.cnblogs.com/lihaozong2013/p/10612727.html