Hadoop DataNode 节点的动态添加和动态删除

最新推荐文章于 2025-08-06 16:23:50 发布

转载最新推荐文章于 2025-08-06 16:23:50 发布 · 120 阅读

CC 4.0 BY-SA版权

原文链接：http://www.cnblogs.com/tianboblog/p/8589264.html

文章标签：

本文介绍如何在Hadoop环境中动态添加或删除DataNode节点。包括配置SSH无密登录、复制授权密钥、启动DataNode服务及刷新节点等步骤。同时提供解决格式化问题的方法。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

hadoop环境是必须的
需要加入新的 DataNode 节点，前提是已经配置好 SSH 无密登录；直接复制已有DataNode中.ssh目录中的authorizedkeys和idrsa。
在新DataNode上启动hadoop

hadoop-daemon.sh start datanode

yarn-daemon.sh start datanode
在NameNode上刷新节点

hdfs dfsadmin -refreshNodes

数据平衡使用： start-balancer.sh
为方便下次启动，可以将新DataNode的域名和ip加入 /etc/hosts 中

重新格式化意味着集群的数据会被全部删除，格式化前需考虑数据备份或转移问题；
先删除主节点（即namenode节点），Hadoop的临时存储目录tmp、namenode存储永久性元数据目录dfs/name、Hadoop系统日志文件目录log 中的内容（注意是删除目录下的内容不是目录）；
删除所有数据节点(即datanode节点) ，Hadoop的临时存储目录tmp、namenode存储永久性元数据目录dfs/name、Hadoop系统日志文件目录log 中的内容；
格式化一个新的分布式文件系统：

hadoop namenode -format

转载于:https://www.cnblogs.com/tianboblog/p/8589264.html