[Hadoop3.x] HDFS动态扩容/节点上线

最新推荐文章于 2024-05-28 23:19:46 发布
最新推荐文章于 2024-05-28 23:19:46 发布
阅读量1.4k 收藏 3
点赞数 5
分类专栏： 动态新增节点 动态扩容 文章标签： hadoop 运维
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_46485607/article/details/119282640
版权

先推荐一下Hadoop入门全过程：（共15节，非常细，我也是跟着这个配置好hadoop的）
https://blog.youkuaiyun.com/m0_46413065/article/details/114667174?spm=1001.2014.3001.5501
---------作者是Leokadia Rothschild---------

为了避免不同的人在hadoop集群搭建上分配任务的差异，我在这里先列出我的分配表

在这里插入图片描述

  1. 首先在VM上克隆一个虚拟机
    选择克隆
    在这里插入图片描述
    下一页
    在这里插入图片描述
    下一页
    在这里插入图片描述
    选择“创建完整克隆”
    在这里插入图片描述
    更改好克隆机名和位置，如何点击完成，如何就可以打开这台克隆虚拟机了
    在这里插入图片描述
  2. 接下来我们配置IP、主机名和hosts映射（需要在root状态下）
    先配置IP
    在这里插入图片描述
    按o编辑
    修改ONBOOT为yes的作用是开机的时候自启网络，而不用手动开启
    在这里插入图片描述
    按一下ESC后 Shift+: 输入wq 回车，即退出
    在这里插入图片描述
    修改主机名
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    配置hosts映射文件
    在这里插入图片描述
    这里建议一次写入多个映射以便后面再次动态上线节点
    注意，如果有修改的话应该在各个虚拟机上都将这个文件改一下，保持一致
    在这里插入图片描述
    可以了，重启一下hadoop105，因为我hosts只改了hadoop105的，所以如果你修改了所有虚拟机的hosts的话，也都需要重启
    在在这里插入图片描述这里插入图片描述
  3. 关闭防火墙、设置时间同步、设置免密登录
    在Xshell7上连接hadoop105，如果没有这个软件的话再虚拟机内的终端执行也是一样的
    在这里插入图片描述
    这样输入IP地址就行
    在这里插入图片描述
    这里输入你虚拟机一直在用的用户名和密码就行，如何点击连接
    在这里插入图片描述
    接受并保存
    在这里插入图片描述如下
    在这里插入图片描述
    关闭防火墙、关闭防火墙的开机自启（如果其他虚拟机都没有关闭的话也需要关闭）
    在这里插入图片描述
    时间同步：
    关闭hadoop105d1 ntp 服务和自启动
    在这里插入图片描述
    配置hadoop105与hadoop102（也就是namenode所在的虚拟机）1分钟同步一次时间
    在这里插入图片描述
    在这里插入图片描述
    wq退出后修改hadoop105的时间，一分钟后看看时间同步能否生效
    一定要保证hadoop102虚拟机是开着的，否则时间无法同步
    在这里插入图片描述
    设置免密登录：生成公、私钥，然后把公钥分发给其他虚拟机，这样所有虚拟机间就可以免密登录了
    在这里插入图片描述后面依次输入ssh-copy-id hadoop103/104/105 (也是需要拷贝给自己的）操作与拷贝给Hadoop102一致
    之后再hadoop105的root模式下重复上面的操作，因为有些文件是需要root权限才能访问的
    在这里插入图片描述
    也是依次输入ssh-copy-id hadoop102/103/104/105 (也是需要拷贝给自己的）
    ok了，因为在开头链接中的教材第九节中已经配置好了hadoop102到104的两两间的免密登录（不管是普通用户还是root用户），而我们刚刚已经配置好了hadoop102/103/104/105访问hadoop105的免密登录，只差反方向的免密登录，也就是hadoop105访问hadoop102/103/104/105的免密登录，所以需要依次在hadoop102/103/104上做如下配置
    在这里插入图片描述hadoop103/104只需要效仿hadoop102这样做即可
    接下来验证一下能否在其他机器登入hadoop105（如下，无需密码，成功）
    在这里插入图片描述
  4. 获取JDK、hadoop文件
    将hadoop102的jdk（是解压后的）拷贝到105上
    在这里插入图片描述
    在hadoop105上检查，jdk存在
    （在这个过程中也是在实验我们免密登录成功与否，如果发送的同时无需输入密码，则是免密登录成功）
    在这里插入图片描述
    此时我们可以反过来，在hadoop105中使用scp命令向hadoop102“索要”文件看免密登录成功与否，我们正好需要hadoop，如下所示：（无需密码，免密登录成功）
    在这里插入图片描述
    在hadoop105上检查是否索要成功
    在这里插入图片描述
  5. 小插曲：因为我们后来的n多次配置是在hadoop102上写好，需要同步给hadoop103/104/105，所以我们在这写一个脚本专门用于分发配置文件，方便许多（如果你有按照文章开头的链接进行配置的话，这一步只需要稍微修改一下脚本内容即可）
    在hadoop102下创建bin目录
    在这里插入图片描述
    编写脚本xsync
    在这里插入图片描述
    在这里插入图片描述文件内容在
    https://blog.youkuaiyun.com/m0_46413065/article/details/115087025?spm=1001.2014.3001.5502
    里面找
    在这里插入图片描述
  6. 配置java和hadoop
    准备就绪，我们需要给hadoop105分发hadoop和java的配置文件
    位于/etc/profile.d/my_env.sh下，之前已经在hadoop102配置好了，只需要分发给其他虚拟机即可
    在这里插入图片描述在这里插入图片描述用脚本分发后，可以在hadoop105上查看是否分发成功
    在这里插入图片描述
    接下来要让环境变量生效
    在这里插入图片描述分发hadoop配置文件，配置文件的内容在开头链接中第十节已经详细配置好了
    hadoop配置文件在/opt/module/hadoop-3.1.3/etc/hadoop/下
    在这里插入图片描述配置workers：它的作用是启动dfs的时候可以按照里面的顺序来启动datanode
    在这里插入图片描述在这里插入图片描述分发workers
    在这里插入图片描述好了！！！！！！！让咱来打开hadoop105的datanode
    在这里插入图片描述我们再多试一下，看看hadoop105的datanode能否跟随hadoop102的dfs开关命令而开关
    在这里插入图片描述
    发现hadoop105的datanode也关闭了
    在这里插入图片描述在这里插入图片描述发现hadoop105的datanode也开启了
    在这里插入图片描述一般来说，到这里就算成功了，在hdfsWeb上可以看到如下所示：
    在这里插入图片描述
  7. 遇到的问题
    我在完成上面6步后，web页面是这样的，我多次刷新，发现我所属hadoop102和hadoop105的datanode总是交替出现，但不同时出现，这就很奇怪了
    在这里插入图片描述在网上搜了一下，原因是所属hadoop102和hadoop105的datanode的Uuid冲突，解决方法是删除current目录下的VERSION文件，然后重启dfs
    然后我就将hadoop105的VERSION给删除了，位置是 $HADOOP_HOME/data/dfs/data/current,然后我重启dfs，发现hadoop105的datanode并没有跟着dfs启动（所以刚刚删除VERSION的操作也不用试了，直接尝试下面的解决方法），那肯定是哪个地方出错了，于是我就查看了hadoop105的datanode日志（位于 $HADOOP_HOME/logs/下），发现了问题所在：
    在这里插入图片描述翻译：目录/opt/module/hadoop-3.1.3/data/dfs/data处于不一致的状态：无法格式化存储目录，因为当前目录不是空的。
    回顾文字开头链接里第十一节（集群崩溃处理方法），我们重新给hadoop105配置datanode，为它分配新的Uuid前，需要先删除其data与logs文件夹，datanode之所以会异常，是因为namenode多次初始化导致datanode的id不一致
    所以我们需要在hadoop105的 $HADOOP_HOME目录下分别执行：
    rm -rf data
    rm -rf logs
    重启dfs，即在hadoop102的 $HADOOP_HOME下分别执行sbin/stop-dfs.sh和sbin/start-dfs.sh。然后在hadoop105输入jps，发现datanode随着dfs启动而启动了。
    web页面也正常了
    在这里插入图片描述

之后就可以在hadoop102上执行命令实现集群负载均衡了：

在这里插入图片描述

HDFS动态扩容
ho_ll_ow的博客
09-21 700
HDFS动态扩容 待扩容机器前置工作 1.创建一个新的虚拟机 修改计算机名称 vi /etc/sysconfig/network 设置IP vi /etc/sysconfig/network-scripts/ifcfg-eth0 配置待扩容机器上(qiku5)的域名映射: vi /etc/hosts 彻底关闭防火墙 chkconfig iptables off 重启网络服务 ser...
[hadoop] HDFS的新节点上线和旧节点退役
朱同学的博客
09-26 417
新节点上线 1 准备一个全新的节点,使用root账户登录 2 修改ip和host主机名 3 在管理节点端配置SSH免密码登录 4 关闭防火墙 5 安装JDK,解压hadoop安装包并配置相关环境变量 6 将以前节点的hadoop配置文件同步到新节点 7 直接启动新节点的DataNode即可关联到集群 sbin/hadoop-daemon.sh start datanode sbin/yarn-da...
Hadoop3 - HDFS DataNode 动态扩容和缩容
小毕超博客
10-06 3097
已有HDFS集群容量已经不能满足存储数据的需求，需要在原有集群基础上动态添加新的DataNode节点。节点已经上线，但没有数据块的存储，使得集群整体来看负载不均衡。DataNode 缩容，不像扩容那样启动一个节点即可， 缩容还需要把当前节点数据移出去才可以，：旧的服务器需要进行退役更换，暂停服务，需要在当下的集群中停止某些机器上HDFS的服务。上的磁盘使用量与群集中的总体使用量相差不超过。过大的话，有可能影响业务服务的操作。的总体使用率是集群磁盘总存储容量的。例如，如果集群中所有。
HDFS集群扩容节点
ItStar
08-13 601
在企业中，经常需要根据业务的发展对HDFS集群进行节点扩容。比如我们要添加一个新DataNode节点到集群中：新节点主机名:bigdata114I...
Hadoop HDFS DataNode动态扩容机制
最新发布
huxian1234的专栏
05-28 1327
胡弦，视频号2023年度优秀创作者，互联网大厂P8技术专家，Spring Cloud Alibaba微服务架构实战派(上下册)和RocketMQ消息中间件实战派(上下册)的作者，资深架构师，技术负责人，极客时间训练营讲师，四维口袋KVP最具价值技术专家，技术领域专家团成员，2021电子工业出版社年度优秀作者，获得2023电子工业出版技术成长领路人称号，荣获2024年电子工业出版社博文视点20周年荣誉专家称号。
HDFS监控背后那些事儿，构建Hadoop监控共同体
焦振清
12-21 2826
HDFS监控挑战   HDFS是Hadoop生态的一部分，监控方案不仅需适用HDFS，其他组件如Yarn、Hbase、Hive等，也需适用 HDFS API提供的指标较多，部分指标没必要实时采集，但故障时需能快速获取到 Hadoop相关组件的日志，比较重要，如问题定位、审计等 监控方案不仅能满足监控本身，故障定位涉及指标也应覆盖   Hadoop监控方案...
Hadoop补充+hive
2301_78012738的博客
12-11 939
Yarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而MapReduce等运算程序则相当于运行于操作系统之上的应用程序。YARN主要由ResourceManager、NodeManager、ApplicationMaster和Container等组件构成。1) ResourceManager (RM) 主要作用如下(1)处理客户端请求(2)监控NodeManager(3)启动或监控Appl icationMaster(4)资源的分配与调度。
【小工具】 hdfs路径信息获取程序
Jack_Roy的博客
11-06 1万+
HDFS路径信息获取程序前言shell源码执行语句生成结果说明 前言 集群布置上线以后，随着数据的涌入，hdfs的磁盘容量所剩不多，在最近一次发生的节点宕机后，hdfs进行故障恢复更是直接将磁盘均写满至90%以上；超过资源阈值以后，该节点在yarn上不对外提供服务，整个集群的计算资源被锁死，调度全部暂停。 面对这样的情形，最简单粗暴的方法当然是删除数据，腾出disk空间，使得disk占用处于阈值以...
【大数据处理技术】期末复习整理
鸽子的博客
07-19 2万+
所用教材：《大数据技术原理与应用——概念、存储、处理、分析与应用（第2版）》，由厦门大学计算机科学系林子雨编著。 教材官网：http://dblab.xmu.edu.cn/post/bigdata/ 慕课：http://www.icourse163.org/course/XMU-1002335004 内容总结自PPT： 第一篇：大数据基础 第1章 大数据概述 第2章 大数据处理架构Hadoop 第二篇 大数据存储与管理 第3章 分布式文件系统HDFS 第4章 分布式数据库HBase 第5章 No
字节跳动10万节点HDFS集群多机房架构演进之路
2401_84122826的博客
04-20 708
业务的迅猛发展和业务场景的多样性给 HDFS 带来了很大的挑战，这里列几个比较有代表性的问题：如何在容量上满足业务的发展需求如何满足近线场景对低延迟的需求如何满足关键业务的机房级别容灾需求如何高效运维如此超大规模的集群要回答这些问题需要 HDFS 从多个方向迭代优化，例如 DanceNN 的上线、运维平台的建设等，本文不会介绍字节跳动 HDFS 所有的演进方案，而是聚焦在 HDFS 多机房架构的演进策略上，它直接回答了上面提到的两个问题，即：如何在容量上满足业务的发展需求：数据如何合理地在多个机房之间存放以
Hadoop扩容
01-11
Hadoop存储容量或计算能力不能满足日益增长的需求时，就需要扩容。 扩容有两个方案： 1) 增加磁盘 2) 增加节点
Hadoop集群中动态增加和减少机器
10-28
Hadoop集群中动态增加和减少机器 Hadoop集群中动态增加和减少机器
Hadoop生态之HDFS动态扩容(四)
05-30 953
当HDFS现有集群不能够满足业务需求的时候，需要在不影响现有HDFS集群运行的情况下，动态扩容现有HDFS集群。 操作步骤： 1> 安装一台CentOS Linux服务器 2> 修改计算机名称 命令：vi /etc/sysconfig/network NETWORKING=yes HOSTNAME=hadoop1 GATEWAY=192.168.248.1 3> ...
HDFS 动态扩容、动态缩容以及黑白名单
wxk的博客
11-03 979
HDFS 的动态扩容节点上线、动态缩容节点下线以及HDFS的黑白名单机制
hadoop集群的动态上线
iilegend的博客
04-09 150
(1) 动态的上线 ① 配置好JDK，hadoop, ② 配置好namenode到新增加节点的免密码登录 ③ 配置slaves（以便下次namenode重新启动时会自动把新加入的节点启动） ④ 每天机器上的主机映射文件 ⑤ 时间同步 ⑥ 关闭防火墙 启动该机器 hadoop-daemon.sh start datanode ⑦ 负载均衡的问题 start-balancer.sh #自动启...
HDFS：集群扩展（扩容）节点 图文详解
小蜜蜂博客
11-10 4015
第一步：准备一个纯净的能ping通外网的虚拟机，作为新节点 关闭防火墙 关闭seLinux 修改主机名（重启后生效） vi /etc/sysconfig/network 4. 配置主机名与IP对应关系 5. SSH免密码登录 生成秘钥和公钥命令： ssh-keygen 查看生成秘钥和公钥存在位置：ll /root/.ssh/ 发送公钥给其他节点：ssh-copy-id ip或者...
Hadoop3.x动态扩容
逝无痕——kaidy
09-11 833
文章目录新增节点基础准备添加DataNode添加NodeManager刷新节点&HDFS负载均衡删除节点 新增节点 基础准备 主要是设置hadoop运行的系统环境，主要包括 系统相关（yum源配置、安装psmisc软件、时间同步配置、LVM配置、防火墙设置），根据需要可选择性实施; 配置主机名; 修改hosts文件，配置IP和主机名之间映射关系，将集群所有节点都配置进去（集群所有节点保持...
hadoop分布式集群 、 分布式集群节点管理 、 hdfs扩展应用
热门推荐
谷洪的博客
09-07 18万+
一、完全分布式 1.1 系统规划 1.1.1 Hadoop 三大核心组件 – 分布式文件系统 – HDFS 已经部署完毕 – 分布式计算框架 – mapreduce – 集群资源管理 – yarn 1.1.2 系统架构 1.2 安装部署 1.2.1 mapred配置 1. 分布式计算框架 mapred-site.xml –...
hadoop 动态扩容 缩容
刘本龙的专栏
11-04 1274
初始化集群 初始化集群：hadoop三个DataNode，HBASE集群只有一个regionserver。 后面我们不停服的情况下，动态添加一个机器node4，在node4上启动DataNode和Hregionserver服务。 hadoop动态扩容 准备工作 准备工作与新搭建集群类似，这里参考笔者另一篇博客Hadoop 2.8.5 完全分布式HA高可用安装（一）–环境准备 安装java 配...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值