Linux磁盘扩容&Hadoop纵向扩容

原创 已于 2024-05-28 09:55:36 修改 · 346 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hadoop #运维

于 2023-11-20 13:16:00 首次发布
本文详细介绍了如何在Linux环境下为虚拟机添加硬盘并进行分区、格式化及挂载操作，以及如何配置Hadoop进行纵向扩容，包括datanode的多目录存储设置、磁盘负载均衡的步骤和注意事项。

文章目录

一、虚拟机添加硬盘（注意这部分是测试参考）

1.1 给虚拟机增加新的硬盘

关闭虚拟机
选择硬盘，下一步

在这里插入图片描述

下一步

创建新虚拟磁盘，下一步

在这里插入图片描述

指定磁盘容量

在这里插入图片描述

完成后重启虚拟机

二、硬盘分区

2.1 输入命令：lsblk

查看当前硬盘使用情况，我们可以看到增加的硬盘，类似下图

在这里插入图片描述
接下来对磁盘进行分区，创建物理卷，把新增的物理卷加到卷组里

fdisk -l

在这里插入图片描述

2.2 输入命令进行分区：

分区，使用 fdisk /dev/sdb ，输入n 新建分区，然后一直回车，最后输入 w 保存配置；创建完成之后，可输入 p 查看；/dev/sdb1 即为新建的分区

fdisk /dev/sdb

常用命令：
m:获取帮助

n：分区

p：查看分区表

w：将分区信息写入硬盘

2.3 输入n开始分区

输入n后输入p,然后一直回车，输入w，保存，如果需要选择磁盘分区大小的话，不要一直回车，参考下图2配置

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

2.4 再次输入命令lsblk发现多了sdb1这个分区

最低0.47元/天 解锁文章
皮皮阿~
关注
数据库扩容方案对比：垂直扩展vs水平扩展如何选
2502_91592937的博客
07-23 193
想象一下，你经营着一家热闹的图书馆，随着借阅者越来越多，书籍也不断增加，原本的书架空间明显不够用了。还是再增加几个新的书架来存放新增的书籍。在数据库的世界里，当数据量不断增长，数据库需要扩容时，也有类似的两种方案，分别是垂直扩展和水平扩展。学习这两种扩容方案的对比和选择方法，能让你在实际工作中根据不同情况做出更合适的决策，无论是管理小型业务数据库，还是处理大型企业级数据系统，都有很大的应用价值。接下来，我们将先构建整体的知识框架，再深入了解每个方案的特点，最后学会如何根据具体场景选择合适的扩容方案。
Hadoop系列——企业存储系统概述，HDFS概述day2-2
qq_51553982的博客
10-19 1445
HDFS(Hadoop Distributed File System )，意为:Hadoop分布式文件系统。是Apache Hadoop核心组件之一，作为大数据生态圈最底层的分布式存储服务而存在。分布式文件系统解决大数据如何存储问题。分布式意味着是横跨在多台计算机上的存储系统。HDFS是一种能够在普通硬件上运行的分布式文件系统，它是高度容错的，适应于具有大数据集的应用程序，它非常适于存储大型数据（比如TB和PB)。
[喵咪大数据]Hadoop节点添加下线和磁盘扩容操作
weixin_34044273的博客
12-19 444
2019独角兽企业重金招聘Python工程师标准>>> ...
Hadoop集群添加磁盘步骤
huyuxiang999的专栏
12-31 8743
一、实验环境 ： 1、硬件：3台DELL服务器，CPU：2.27GHz*16，内存：16GB，一台为master，另外2台为slave。 2、系统：均为CentOS6.3 3、hadoop版本：CDH4.5，选用的mapreduce版本不是yarn，而是mapreduce1，整个集群在cloudera manager的监控下，配置时也是通过manager来配置（通过更改配置文件是一样的道理）
Hadoop HDFS DataNode动态扩容机制
huxian1234的专栏
05-28 1495
胡弦，视频号2023年度优秀创作者，互联网大厂P8技术专家，Spring Cloud Alibaba微服务架构实战派(上下册)和RocketMQ消息中间件实战派(上下册)的作者，资深架构师，技术负责人，极客时间训练营讲师，四维口袋KVP最具价值技术专家，技术领域专家团成员，2021电子工业出版社年度优秀作者，获得2023电子工业出版技术成长领路人称号，荣获2024年电子工业出版社博文视点20周年荣誉专家称号。
Hadoop集群hdfs添加磁盘操作
freeRoad
04-14 1261
Hadoop集群hdfs添加磁盘操作 目前的环境是cdh。服务器部署在Azure；一台cdhmaster（一个namenode，一个datanode），四台cdhslave节点（各一个datanode）。 hdfs现状： 首先是在Azure控制台对每台服务器添加一块磁盘（我这添加的是4T） 在到服务器中对每台服务器进行添加磁盘操作： 因为在Linux中，常用2种分区表： MBR分区表（即主引导记录） 所支持的最大分区：2T，而且对分区有限制：最多4个主分区或3个主分区加一个扩展分区[..
hadoop为某DataNode增加磁盘空间
m0_46657040的博客
04-12 492
vmware新增一个磁盘 https://www.jb51.net/article/177382.htm 以及为现有磁盘扩容 修改hdfs-site.xml文件 ，然后重启hadoop102节点
第二课 ceph基础学习-OSD扩容换盘和集群运维
QnHyn
10-19 2470
osd扩容还盘和集群运维
hdfs扩容
最新发布
05-20
HDFS作为分布式文件系统，支持通过两种主要方式来扩展其存储容量：**横向扩容**和**纵向扩容**。 #### 1. 横向扩容 横向扩容是指通过增加新的DataNode节点到现有集群中，从而提升整体存储能力。以下是具体的实施...
Hadoop扩容
小崔的专栏
03-28 1427
Linux下 磁盘扩容的两种方式 原地址：https://www.cnblogs.com/yangxiansen/p/7860270.html Hadoop扩容 概述 Hadoop存储容量或计算能力不能满足日益增长的需求时，就需要扩容。 扩容有两个方案： 1) 增加磁盘 2) 增加节点 方案一：扩大虚拟磁盘 扩大容量 将虚拟的Linux关闭，扩大磁盘容量 ...
hadoop卸载及扩容
09-18 6841
------------------------------------------------------------------------------卸载--------------------------------------------------------------------------------------------------------- 待卸载节点 bis-
虚拟机磁盘扩展、HDFS扩容
星星应该哈哈大笑，反正宇宙是个空旷的地方。
08-24 802
在学习中，虚拟机创建的时候内存设置的小了，导致HDFS的内存也不够用了，查询了一堆教程，以下记录虚拟机扩容的完整过程。
Hadoop大数据应用：Yarn 节点实现扩容与缩容
cronaldo91的博客
03-14 1882
（7）域名主机名(hadoop节点)(10) 清除日志（node05节点）（11）启动服务 （node05节点）(15) 验证 （hadoop节点）（1）删除节点 （node05节点）(3) 停止服务（hadoop节点）（6）再次验证 （hadoop节点）地址为192.168.204.55。（4）启动服务（hadoop节点）NodeManager（已部署）NodeManager（已部署）NodeManager（已部署）（2）验证 （hadoop节点）（5）验证 （hadoop节点）
hadoop habse集群增加磁盘空间
jiangdaquan的博客
07-13 2395
    最近项目上采集的数据量超出预期，hbase集群中的datanode节点磁盘使用过快，基本都超过50%，按现有的使用频率来看，预计只能继续支撑3个月左右，考虑着要加新的硬盘，但是却被这么一个小问题折腾了好一会才解决，特地在此记录一下。    centos环境下挂载新硬盘1、硬盘分区1.1、显示硬盘及所属分区情况fdisk -l显示当前的硬盘及所属分区的情况。如下图所示： 1.2对新硬盘进行分...
大数据之HDFS磁盘扩容(linux磁盘扩容)
天道酬勤
06-06 592
本文以扩容/dev/vdb1 分区为例，命令中/dev/vdb 与1之间需要使用空格分隔。/dev/vdb1 分区容量为32G，文件系统类型为ext4，已挂载至/www。返回结果如下，则表示已扩容成功（/dev/vdb1分区由32G扩容至53G）/dev/vda 数据盘磁盘容量为21.5GB，包含/dev/vda1分区。/dev/vdb 数据盘磁盘容量为53.7GB，包含/dev/vdb1分区。/dev/vda1 分区容量为22G，文件系统类型为xfs，已挂载至/2、执行以下命令，查看扩容结果。
Linux: 已使用的磁盘扩容（三种情况）
weixin_72585038的博客
02-26 3548
【代码】Linux: 已使用的磁盘扩容。
ceph 纵向扩容 nautilus版本
tobias的博客
08-13 380
零 修订记录 序号 修订内容 修订时间 1 新增 2021/2/6 一 摘要 前文linux 基于三台物理机安装ceph nautilus 介绍了 ceph 在centos 7.6 上的安装。 ceph nautilus 横向扩容 介绍了ceph 横向扩容，本文在此两篇基础上 在介绍纵向扩容 二 环境信息 主机名 状态 IP 磁盘 角色 cephtest001.ceph.kxdigit.com 已完成 10.3.176.10 系统盘：/dev/sda 数据盘：/dev
Hadoop3 - HDFS DataNode 动态扩容和缩容
小毕超博客
10-06 3266
已有HDFS集群容量已经不能满足存储数据的需求，需要在原有集群基础上动态添加新的DataNode节点。节点已经上线，但没有数据块的存储，使得集群整体来看负载不均衡。DataNode 缩容，不像扩容那样启动一个节点即可， 缩容还需要把当前节点数据移出去才可以，：旧的服务器需要进行退役更换，暂停服务，需要在当下的集群中停止某些机器上HDFS的服务。上的磁盘使用量与群集中的总体使用量相差不超过。过大的话，有可能影响业务服务的操作。的总体使用率是集群磁盘总存储容量的。例如，如果集群中所有。
集群硬件规划
雾幻的博客
04-13 4522
1. 总体规划的考虑 Hadoop集群的瓶颈：IO（Disk，Net） Spark集群的瓶颈：CPU，内存 hadoop可以在一台机器上运行，该方式主要用于测试，显然不适合大量的数据。许多人从一个小的集群开始，并根据需要增长它最初可能只有4到6个节点。随着数据量的增长，可以很容易地添加更多的节点。 决定集群何时需要增长的方法： 需要增加计算能力，增加需要存储的数据量，增加处理任务所需的内...
Hadoop扩容策略：磁盘扩展与节点增加详解
Hadoop扩容是当Hadoop集群的存储容量或计算能力不足以应对不断增长的数据处理需求时，对系统进行升级的一种策略。主要针对两种情况：增加磁盘和增加节点。 **增加磁盘**是扩容的一个基本手段，其步骤包括： 1. **...
评论 3
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值