服役新节点

最新推荐文章于 2022-07-14 04:47:51 发布
原创 最新推荐文章于 2022-07-14 04:47:51 发布 · 145 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文详细介绍了如何在Hadoop集群中动态添加新的数据节点以应对不断增长的数据存储需求。包括环境准备、配置文件修改、刷新节点和服务启动等关键步骤，并提供了检查数据均衡性的方法。

6.5 服役新数据节点

0）需求：

随着公司业务的增长，数据量越来越大，原有的数据节点的容量已经不能满足存储数据的需求，需要在原有集群基础上动态添加新的数据节点。

1）环境准备

（1）克隆一台虚拟机

（2）修改ip地址和主机名称

（3）修改xcall和xsync文件，增加新`增节点的同步ssh

 

2）服役新节点具体步骤

（1）在namenode的/opt/module/hadoop-2.7.2/etc/hadoop目录下创建dfs.hosts文件

[atguigu@hadoop106 hadoop]$ pwd

/opt/module/hadoop-2.7.2/etc/hadoop

[atguigu@hadoop106 hadoop]$ touch dfs.hosts

[atguigu@hadoop106 hadoop]$ vi dfs.hosts

添加如下主机名称（包含新服役的节点）

hadoop106

hadoop107

hadoop108

hadoop109

（2）在namenode的hdfs-site.xml配置文件中增加dfs.hosts属性

<property>

<name>dfs.hosts</name>

      <value>/opt/module/hadoop-2.7.2/etc/hadoop/dfs.hosts</value>

</property>

（3）刷新namenode

[atguigu@hadoop102 hadoop-2.7.2]$ hdfs dfsadmin -refreshNodes

Refresh nodes successful

（4）更新resourcemanager节点

[atguigu@hadoop102 hadoop-2.7.2]$ yarn rmadmin -refreshNodes

17/06/24 14:17:11 INFO client.RMProxy: Connecting to ResourceManager at hadoop103/192.168.1.103:8033

（5）在namenode的slaves文件中增加新主机名称

增加109  不需要分发

hadoop106

hadoop107

hadoop108

hadoop109

（6）单独命令启动新的数据节点和节点管理器

[atguigu@hadoop109 hadoop-2.7.2]$ sbin/hadoop-daemon.sh start datanode

starting datanode, logging to /opt/module/hadoop-2.7.2/logs/hadoop-atguigu-datanode-hadoop109.out

[atguigu@hadoop109 hadoop-2.7.2]$ sbin/yarn-daemon.sh start nodemanager

starting nodemanager, logging to /opt/module/hadoop-2.7.2/logs/yarn-atguigu-nodemanager-hadoop109.out

（7）在web浏览器上检查是否ok

3）如果数据不均衡，可以用命令实现集群的再平衡

[atguigu@hadoop106 sbin]$ ./start-balancer.sh

starting balancer, logging to /opt/module/hadoop-2.7.2/logs/hadoop-atguigu-balancer-hadoop106.out

Time Stamp               Iteration#  Bytes Already Moved  Bytes Left To Move  Bytes Being Moved

 

kafka 集群服役新节点
congge
03-02 1万+
kafka 集群服役新节点
Kafka3.0.0版本——Broker（服役新节点）示例
小志的博客
08-09 601
Kafka3.0.0版本——Broker（服役新节点）示例
服役新数据节点(开发面试重点)
Faded1573606285的博客
12-06 238
0）需求： 随着公司业务的增长，数据量越来越大，原有的数据节点的容量已经不能满足存储数据的需求，需要在原有集群基础上动态添加新的数据节点。 1）环境准备 （1）克隆一台虚拟机 （2）修改ip地址和主机名称 （3）修改xcall和xsync文件，增加新`增节点的同步ssh （4）删除原来HDFS文件系统留存的文件 ...
服役新数据节点
ITBOY_ITBOX博客
05-10 254
随着公司业务的增长，数据量越来越大，原有的数据节点的容量已经不能满足存储数据的需求，需要在原有集群基础上动态添加新的数据节点。 1. 环境准备 （1）在克隆一台hadoop105主机 （2）修改IP地址和主机名称 （3）删除原来HDFS文件系统留存的文件（/opt/module/hadoop-2.7.2/data和log） 删除的是你克隆的hadoop105主机上的 （...
DataNode新节点服役与旧节点退役
weixin_46192593的博客
07-14 530
大数据相关博客的目录 在阅读此篇之前，应当先阅读基于CentOS7镜像和数据挂载卷实现Docker搭建Hadoop集群 服役与退役 Hadoop集群中管理员经常需要向集群中添加节点，或从集群中移除节点。 例如为了扩大存储容量或其他业务需求，需要上线一个DataNode的新节点，这被称为服役(新节点上线)。 相反的，在某些节点出现反常(如故障率过高或者性能过于低下)或其他业务需求，...
【Hadoop】给集群配置新节点/退役节点
(｡◕‿◕｡)
03-02 507
服役新数据节点 环境准备 （1）在hadoop133主机上再克隆一台hadoop134主机 （2）修改IP地址和主机名称 （3）删除原来HDFS文件系统留存的文件（/opt/module/hadoop-2.7.2/data和log） （4）source一下配置文件 服役新节点具体步骤 (配置前确定其他节点的hosts和slaves里有新节点的映射) （1）直接启动DataNode，即可关联到...
在现有的hadoop集群中增加新节点服务器
weixin_42539417的博客
04-09 2522
系列文章目录 Hadoop 集群安装部署及新增服务器节点(详细)： 现根据业务需要，需要在原有的3台完全分布式的节点增设一台新的服务器节点，以下文章正文编写了在原有的完全分布hadoop中增设新节点的部署。 文章目录系列文章目录前言一、部署步骤1.将新加节点信息补充至多台服务器的/etc/hosts中（包含新增节点自己这台服务器）2.通过前文我们写过的xsync脚本再次修改 将新增节点的信息写入到脚本文件xsync中（`注意缩进`）二、启动新增节点1.利用xsync脚本将hadoop128上的所有文件同
HDFS服役新数据节点与退役旧数据节点
Hxm6440的博客
11-07 741
文章目录为什么要让新数据节点服役于原有的集群？准备新的节点修改mac地址以及IP地址关闭防火墙，开机不自启关闭selinuxssh免密码登录修改主机名设置主机名和IP的对应关系安装jdk安装Hadoop 为什么要让新数据节点服役于原有的集群？ 随着公司业务的增长，数据量越来越大，原有的数据节点的容量已经不能满足存储数据的需求，需要在原有集群基础上动态添加新的数据节点。 准备新的节点 修改mac地址...
服役新数据节点与退役旧数据节点
w4xj的博客
01-27 1002
1.随着公司业务量的变化，需要对原有的数据节点新增服役节点或者退役节点，以达到资源合理利用 2.环境准备 [1].克隆一台节点 [2].修改 ip 地址和主机名称 [3].增加新增节点的同步 ssh（namenode和resourcemanager都需要要配置到新节点的ssh） [4].如果克隆的机器有存量数据，先删除留存的文件/opt/module/hadoop-2.7.2/data ...
Hadoop服役新的数据节点（仅供参考）
u013982921的专栏
04-02 1003
      最近自己在学习大数据领域，了解了不少知识，在自己现有的集群环境中模拟了如何在现有的集群上增加新的节点。这种场景在我们现实生活中也很常见，随着公司业务的增长，数据量越来越大，原有的数据节点的容量已经不能满足存储数据的需求，需要在原有集群基础上动态添加新的数据节点。1）环境准备 （1）克隆一台虚拟机 （2）修改ip地址和主机名称 （3）修改xcall和xsync文件，增加新`增节点的同步s...
hadoop集群中运行中时服役和退役节点
涤生大数据
12-03 9124
集群中服役新数据节点 0）需求： 随着公司业务的增长，数据量越来越大，原有的数据节点的容量已经不能满足存储数据的需求，需要在原有集群基础上动态添加新的数据节点。 1）环境准备        （1）克隆一台虚拟机（克隆已经配置好的主机，或者是服役中的节点。）           如果是没有配置7个配置文件的节点机，要用hadoop102分发hadoop102的hadoop文件覆盖配置（7个
HDFS服役新节点数据&退役节点
mengxianglong123的博客
07-28 592
一、服役新数据节点 1. 需求 随着公司业务的增长，数据量越来越大，原有的数据节点的容量已经不能满足存储数据的需求，需要在原有集群基础上动态添加新的数据节点。 2. 环境准备 （1）在hadoop104主机上再克隆一台hadoop105主机 （2）修改IP地址和主机名称 （3）删除原来HDFS文件系统留存的文件（/opt/module/hadoop-3.1.3/目录下的data和log目录） （4）source一下配置文件 [atguigu@hadoop105 hadoop-3.1.3]$ source /
如何在集群里服役新节点、退役旧节点(DataNode)
Sun's Blog
07-12 395
准备好新的数据节点(DataNode) ①准备机器，配置好JDK、hadoop的环境变量，在hdfs-site.xml和yarn-site.xml文件中分别配置NameNode和ResourceManager所在主机名 ②待服役成功后，启动datanode和nodemanager进程即可 ③服役了新的DN节点后，可以执行再平衡的命令，这个命令可以将集群中块进行重新平衡分配，实现负载均衡： ./start-balancer.sh 方法一：白名单 白名单之外的机器，无法进入集群 编写一个文件，添加要服役的主机
hive创建表(内部表和外部表）
热门推荐
now
01-24 1万+
一、理论 1）建表语法 CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name [(col_name data_type [COMMENT col_comment], ...)] [COMMENT table_comment] [PARTITIONED BY (col_name data_type [COMMENT col_comment], ...)] [CLUSTERED BY (col_name, col_nam
java.lang.Exception: java.lang.ArrayIndexOutOfBoundsException: 1（无奈，深层原因未找到）
now
12-03 4383
数据 A:B,C,D,F,E,O B:A,C,E,K C:F,A,D,I D:A,E,F,L E:B,C,D,M,L F:A,B,C,D,E,O,M G:A,C,D,E,F H:A,C,D,E,O I:A,O J:B,O K:A,C,D L:D,E,F M:E,F,G O:A,H,I,J MapReduce博客找好友报错，如果把数据直接从txt记事本中粘贴过来就报这个数组越界错误（但是并没有越界，且可以正常在控制才输出，但无法进行下一步），但是如果把粘贴到QQ，再粘贴到TXT，或者是自己手动输入数据则
hdfs别的节点怎么启动？
最新发布
06-18
<think>我们正在讨论HDFS集群的节点启动问题。根据用户的问题"如何在HDFS中启动其他数据节点或辅助节点"，结合提供的引用内容，我们可以整理出以下步骤：1.对于启动数据节点（DataNode）：-引用[3]中提到，在节点服务器上执行以下命令来启动DataNode和NodeManager：```bashcd/export/servers/hadoop-2.6.0-cdh5.14.0/sbin/hadoop-daemon.shstartdatanode```注意：这里也同时启动了NodeManager，但用户如果只需要启动DataNode，则只执行启动datanode的命令即可。-引用[4]中提到了另一种启动方式，即使用`hadoop-daemon.sh`脚本来启动单个节点上的DataNode：```bashhadoop-daemon.shstartdatanode```或者使用`start-dfs.sh`脚本一次性启动整个HDFS集群（包括NameNode、DataNode和SecondaryNameNode）。2.对于启动辅助节点（SecondaryNameNode）：-引用[4]中提到，可以使用以下命令启动SecondaryNameNode：```bashhadoop-daemon.shstartsecondarynamenode```同样，`start-dfs.sh`脚本也会启动SecondaryNameNode。3.启动整个HDFS集群：-引用[4]中说明，可以使用`start-dfs.sh`脚本来启动整个HDFS集群（包括NameNode、DataNode和SecondaryNameNode）：```bashstart-dfs.sh```4.启动YARN相关节点（如果同时需要）：-引用[4]中提到，可以使用`start-yarn.sh`启动ResourceManager和NodeManager。-引用[3]中在启动DataNode的同时也启动了NodeManager（使用`yarn-daemon.shstartnodemanager`）。因此，针对用户的问题，我们可以给出以下具体步骤：###启动其他数据节点（DataNode）如果要在集群中的某个节点上单独启动一个DataNode，需要在该节点上执行：```bashhadoop-daemon.shstartdatanode```或者（根据具体路径）：```bashcd/path/to/hadoop#进入Hadoop安装目录sbin/hadoop-daemon.shstartdatanode```###启动辅助节点（SecondaryNameNode）如果要在集群中的某个节点上启动SecondaryNameNode（通常该节点是配置好的辅助节点），在该节点上执行：```bashhadoop-daemon.shstartsecondarynamenode```###使用脚本批量启动如果已经配置好集群中所有节点（包括新增节点）的SSH无密码登录，并且将新增节点加入了`slaves`文件（或`workers`文件，取决于Hadoop版本），那么可以在主节点（NameNode所在节点）使用以下脚本启动所有DataNode和SecondaryNameNode（如果SecondaryNameNode配置在单独节点，则通常也会被启动）：```bashstart-dfs.sh```###注意事项-在启动节点之前，确保已经正确配置了HDFS，包括`core-site.xml`、`hdfs-site.xml`等配置文件，特别是新增节点的配置要与集群一致。-对于新增节点，需要按照服役新节点的步骤操作（如引用[1]中提到的创建白名单等步骤），确保节点已被NameNode接受。-启动后，可以通过Web界面（默认端口50070）或使用命令`hdfsdfsadmin-report`来检查节点是否成功加入集群。###相关问题1.如何将新节点添加到HDFS集群中（服役新节点）？2.如何验证新节点已经成功加入HDFS集群？3.HDFS集群中各个节点的作用是什么（如NameNode,DataNode,SecondaryNameNode）？</think>### 如何在 HDFS 中启动其他数据节点或辅助节点 在 HDFS 集群中启动其他节点的操作步骤如下： #### 一、启动数据节点 (DataNode) 1. **在目标节点执行启动命令** 登录到需要启动的节点服务器（如 `node04`），执行： ```bash cd /path/to/hadoop # 进入 Hadoop 安装目录 sbin/hadoop-daemon.sh start datanode ``` 此命令会启动当前服务器上的 DataNode 服务[^3]。 2. **批量启动所有数据节点** 在 **主节点 (NameNode)** 执行： ```bash sbin/start-dfs.sh # 启动 HDFS 集群（包括所有 DataNode） ``` 该脚本会自动读取 `workers` 文件中的节点列表并启动所有 DataNode[^4]。 #### 二、启动辅助节点 (SecondaryNameNode) 1. **在配置的辅助节点服务器执行**： ```bash sbin/hadoop-daemon.sh start secondarynamenode ``` 2. **通过集群脚本启动**： ```bash sbin/start-dfs.sh # 同时启动 SecondaryNameNode ``` #### 三、关键注意事项 1. **节点状态同步** DataNode 启动后会自动向 NameNode 注册，NameNode 会将节点信息 **保存在内存中** 并定期同步[^5]。 2. **白名单配置（新增节点时）** 新增节点前需将其加入白名单文件 `dfs.hosts`，否则 NameNode 会拒绝连接[^1]。 3. **日志验证** 检查节点日志确认启动状态： ```bash tail -f logs/hadoop-*-datanode-*.log ``` 4. **Web UI 监控** 访问 NameNode Web 界面（默认 `http://<namenode_ip>:9870`），在 `Datanodes` 选项卡查看节点状态。 ### 相关问题 1. HDFS 新增节点时如何配置白名单？ 2. DataNode 启动失败有哪些常见原因及解决方法？ 3. SecondaryNameNode 在 HDFS 中承担什么具体功能？ 4. 如何通过命令行验证 DataNode 是否成功注册到集群？ 5. HDFS 节点下线（退役）的标准流程是什么？ [^1]: 服役新节点需创建白名单文件 [^3]: 在节点服务器执行启动命令 [^4]: 使用集群脚本批量启动节点 [^5]: DataNode 状态上报机制
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值