hadoop卸载及扩容

最新推荐文章于 2023-05-15 18:49:14 发布

xjping0794

最新推荐文章于 2023-05-15 18:49:14 发布

阅读量6.7k

点赞数 1

分类专栏： hadoop 文章标签： hadoop

本文链接：https://blog.youkuaiyun.com/xjping0794/article/details/78022005

版权

hadoop 专栏收录该内容

24 篇文章

订阅专栏

本文详细介绍了如何卸载Hadoop集群，并进行扩容操作。卸载过程包括格式化数据盘、复制SSH配置以及更新节点列表。扩容步骤涉及在新节点上创建HDFS和YARN的相关目录并调整权限。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

------------------------------------------------------------------------------卸载---------------------------------------------------------------------------------------------------------

待卸载节点

bis-newdatawork-s2c-120   10.10.10.180
bis-newdatawork-s2c-121   10.10.10.181
bis-newdatawork-s2c-122   10.10.10.182
bis-newdatawork-s2c-123   10.10.10.183
bis-newdatawork-s2c-124   10.10.10.184

卸载DataNode节点：

ha模式需要先停掉备用NN
hadoop-daemon.sh stop namenode

一次卸载一个节点
-----卸载datanode
1）要在HDFS主节点NameNode上，进行配置。

a)在etc/hadoop/hdfs-site.xml中，设置属性值：
dfs.hosts.exclude
/home/hadoop/hadoop-2.2.0/etc/hadoop/exclude
b)创建文件并在文件中加入卸载节点的IP地址或者主机名。

2）在NameNode节点上刷新集群

bin/hdfs dfsadmin -refreshNodes

3）卸载过程。

卸载过程中可以启用停掉的备用namenode
hadoop-daemon.sh start namenode
通过命令来查看卸载情况。
bin/hdfs dfsadmin -report

4) 在卸载机器上关闭DataNode进程

ssh bis-newdatawork-s2c-120
hadoop-daemon.sh stop datanode

5）将 exclude 文件内容清空

状态由 Decommission in progress 变成 Decommissioned 后,将文件 exclude 清空
> exclude

-----卸载 nodemanager
在卸载NodeManager时，一定要主要配置在ResourceManager上。
1)在etc/hadoop/yarn-site.xml中，设置属性值：

<property>
<name>yarn.resourcemanager.nodes.exclude-path</name>
<value>/home/hadoop/hadoop-2.2.0/etc/hadoop/yarn-hosts.exclude</value>
</property>
创建文件yarn-hosts.exclude并在文件中加入卸载节点的IP地址或者主机名。
bis-newdatawork-s2c-120

2)在RM中刷新节点

yarn rmadmin -refreshNodes

3)登录到RM监控界面可以看到该节点被移除
4)清空文件yarn-hosts.exclude

> yarn-hosts.exclude

-----最后删除slaves文件中的卸载节点，并同步到snn节点

scp /home/hadoop/hadoop-2.2.0/etc/hadoop/slaves bis-newdatanode-s2c-90:/home/hadoop/hadoop-2.2.0/etc/hadoop/

----停掉卸载节点上其他进程

如停spark：./stop-slave.sh
并删除spark配置文件slaves中的卸载节点。

----清数据

格式化数据盘：

umount /data
mkfs -t ext4 /dev/mapper/datavg-datalv
mount /dev/mapper/datavg-datalv /data -o noatime,defaults

清根目录：
rm -rf /home/hadoop/hadoop-2.2.0
rm -rf /home/hadoop/slaves
rm -rf /home/hadoop/spark-1.6.1-bin-2.2.0

------------------------------------------------------------------------------扩容---------------------------------------------------------------------------------------------------------
增加新机器，DataNode(存储数据)和NodeManager(计算)
bis-newdatawork-s2c-120   10.10.10.180
bis-newdatawork-s2c-121   10.10.10.181
bis-newdatawork-s2c-122   10.10.10.182
bis-newdatawork-s2c-123   10.10.10.183
bis-newdatawork-s2c-124   10.10.10.184
1）系统、主机名、IP地址、防火墙、SELinux等与集群的从节点基本配置保持一致。
OK
2）安装JDK（版本、路径、环境变量保持一致）。
OK
3）配置主节点（HDFS:NameNode；YARN:ResourceManager）所在机器到新机器的SSH无密钥登录（方便集群的启动）。

scp -r .ssh hadoop@bis-newdatawork-s2c-120:~/

ssh bis-newdatawork-s2c-121 "cat /home/hadoop/id_dsa.pub >>/home/hadoop/.ssh/authorized_keys"

4）配置修改etc/hadoop/slaves文件（只需要在ANN+SNN上修改）。
5）分发hadoop安装包（配置完成）到新机器上。
scp -r hadoop-2.2.0 bis-newdatawork-s2c-120:~/

6）创建HDFS、YARN在新机器的本地磁盘上一些文件夹。

mkdir -p /data/hadoop/dfs/data
chown -R hadoop.hadoop /data/hadoop

7）在新机器上启动DataNode和NodeManager节点。

hadoop-daemon.sh start datanode
yarn-daemon.sh start nodemanager

8）更新ANN+SNN上的/etc/hadoop/slaves

//对hdfs负载设置均衡，因为默认的数据传输带宽比较低，可以设置为64M
hdfs dfsadmin -setBalancerBandWidth 67108864

//默认balancer的threshold为10%，即各个节点与集群总的存储使用率相差不超过10%，我们可将其设置为5%
start-balancer.sh -threshold 5