给CDH版本的HDFS组件，新增DataNode多磁盘目录（热插拔）

最新推荐文章于 2025-06-19 23:18:14 发布
原创 最新推荐文章于 2025-06-19 23:18:14 发布 · 921 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hdfs #hadoop #big data

这篇博客介绍了如何在HDFS集群中管理磁盘，包括选择实例、新增磁盘目录，以及如何安全地进行热插拔单个节点操作。通过这些步骤，可以有效地刷新集群状态并确保数据安全。
  1. 点击 -HDFS- 组件

  2. 选择 -实例-

  3. 选择新增磁盘的主机

  4. 点击 -配置-

  5. 新增磁盘目录

  6. 刷新集群

    改完可以刷新下页面，就可以看到刷新的提示

  7. 其他

    其它节点操作类似, 为保险起见, 最好单台节点一个个操作

    官方也建议热插拔单个节点操作更安全

CDH5.6下线Hdfs的DataNode
ith321的博客
04-11 1969
cdh低版本非dfs_host方式下线datanode。
绝对完美解决hdfs datanode数据和磁盘数据分布不均调整（hdfs balancer ）——经验总结_datanode balance(2)
2401_84586524的博客
05-12 565
hdfs 需要存写大量文件，有时磁盘会成为整个集群的性能瓶颈，所以需要，将数据目录配置多磁盘，既可以提高并发存取的速度，还可以。
hadoop 增加存储目录
HanLaotwo的博客
12-28 1848
直接在cdh上配置 HDFS -> 配置 -> datanode ->DataNode 数据目录dfs.data.dir,dfs.datanode.data.dir 增加一个目录，不用提前创建 [root@hs03 dn]# hadoop fs -df -h Filesystem Size Used Available Use% hdfs://hs03
CDH添加datanode节点与重新平衡
zorsea的博客
11-27 6086
1、配置cloudera-scm-agent 连接的server节点 2、登录CDH web管理界面添加集群节点 3、添加角色实例 4、重启节点 5、更新过期配置信息 6、重新平衡数据存储      ...
hdfs 添加DataNode
weixin_33997389的博客
02-16 426
2019独角兽企业重金招聘Python工程师标准>>> ...
CDH环境下HDFS挂载多硬盘
bbbbobbb的博客
08-14 890
最近在公司实习，使用CDH搭环境，添加HDFS服务发现没有挂载全部的硬盘，查看节点硬盘挂载情况发现： 硬盘被挂载到了所以目录下，而CDH使用了root用户，所以挂载到/home目录下的硬盘就没有被hdfs检查到，无法挂载到HDFS上。 HDFS可以挂载多目录，所以在hdfs目录下创建dfs目录： mkdir -p /home/dfs 并将/home/dfs配置到dfs.datanode.data.dir中： 注意，这里我是将之前的HDFS服务删除了，然后添加目录重新添加HDFS服务，启动服务的时候会格
记一次CDH集群磁盘扩容(热插拔)详细步骤
激进的蜗牛
11-21 3307
数据仓库的其中一个作用是保存公司完整的业务或其他数据,在RDB如mysql/Oracle中,数据太多可以进行归档,但数仓不可以.这就导致了数仓中的磁盘占用率越来越高,终归有一天,磁盘不足,那给CDH集群增加磁盘就不能避免. 以下是我实际工作中一次增加磁盘的记录.分享出来希望可以帮到有缘人. 分为以下三个部分描述 1-磁盘热插拔的注意事项 2-...
CDH4 动态添加datanode和nodemanager
eagle0912的博客
08-23 346
想要在运行中的hadoop集中中动态添加或删除节点，肿么办呢？ 【准备工作：】 1. 如是添加节点，则需要将所有新增数据节点上的Hadoop环境都已经按已有环境部署完毕（host、ssh等） 2. 需要的配置项： (1) dfs.hosts 配置存放待上线数据节点名字文件的绝对路径。（俺把所...
CDH6下线DataNode节点
新生代农民工Steven
08-10 2179
CDH6下线DataNode方案
CDH使用Disk Balancer平衡磁盘HDFS数据​
十八闲客的博客,专注于大数据运维
07-21 763
从 CDH 5.8.2 开始，Cloudera Manager提供了一个全面的存储容量管理解决方案，可以跨节点 (Balancer)、存储类型(Mover)和单个DataNode中的磁盘(磁盘平衡器)。2、显然上述两个磁盘需要进行磁盘平衡，假设要平衡的主机名称为lei-dn-3.example.org，通过如下命令可以生成磁盘平衡任务：​。-ls后面跟着的是上一步生成计划的时间，可以看到有格式如{机器名}.plan.json文件夹（不是一个文件）。通过如下命令可以查询生成的JSON文件：​。
CDH部署HDFS详细指南
最新发布
ljw714的专栏
06-19 939
本文详细介绍了使用CDH部署HDFS集群的全过程，主要包括五个方面：1) 环境准备，包括硬件、软件和网络配置要求；2) CDH安装步骤，涵盖Cloudera Manager和CDH组件的安装；3) HDFS配置指南，包含基础与高级配置参数；4) 集群管理方法，涉及服务启动、日常维护和故障处理；5) 最佳实践建议，提供性能优化和安全加固方案。该指南为快速构建稳定高效的HDFS集群提供了全面参考，适用于不同规模的部署需求。
为hdfs增加磁盘扩容
Lucien_Hu的博客
06-10 946
到服务器中对每台服务器进行添加磁盘操作： 因为在Linux中，常用2种分区表： MBR分区表（即主引导记录）所支持的最大分区：2T，而且对分区有限制：最多4个主分区或3个主分区加一个扩展分区 [fdisk命令操作] GPT分区表（即GUID分区表）是源自EFI标准的一种较新的磁盘分区表结构的标准，与MBR分区方式相比，具有如下优点：突破MBR 4个主分区限制，每个磁盘最多支持128个分区。支持大于2T的分区，最大可达18EB。 [parted命令操作] 使用 parted 建立大小超过2T的分区 p
Hadoop集群hdfs添加磁盘操作
freeRoad
04-14 1261
Hadoop集群hdfs添加磁盘操作 目前的环境是cdh。服务器部署在Azure；一台cdhmaster（一个namenode，一个datanode），四台cdhslave节点（各一个datanode）。 hdfs现状： 首先是在Azure控制台对每台服务器添加一块磁盘（我这添加的是4T） 在到服务器中对每台服务器进行添加磁盘操作： 因为在Linux中，常用2种分区表： MBR分区表（即主引导记录） 所支持的最大分区：2T，而且对分区有限制：最多4个主分区或3个主分区加一个扩展分区[..
Hadoop集群添加磁盘步骤
huyuxiang999的专栏
12-31 8743
一、实验环境 ： 1、硬件：3台DELL服务器，CPU：2.27GHz*16，内存：16GB，一台为master，另外2台为slave。 2、系统：均为CentOS6.3 3、hadoop版本：CDH4.5，选用的mapreduce版本不是yarn，而是mapreduce1，整个集群在cloudera manager的监控下，配置时也是通过manager来配置（通过更改配置文件是一样的道理）
HDFS数据多目录、异构存储、回收站
weixin_59868842的博客
02-26 1141
HDFS数据多目录、异构存储、回收站
大数据之Hadoop(hdfs): DataNode通过添加数据盘扩容
weixin_43597208的博客
05-19 1528
目录1.原由:2.方案：3.步骤：1.第一步：备份hdfs-site.xml配置文件2.第二步：添加数据磁盘、格式化，并挂载到/data2目录3.第三步：创建hdfs数据存储目录4.第四步：修改hdfs-site.xml文件（所有节点），增加dfs.datanode.data.dir数据目录（用逗号分隔)4.补充： 1.原由: 在生产环境中，hdfs集群数据量已达到存储的90%，亟需对存储空间进行扩容； 2.方案： 最终确定添加datanoe的存储目录的方案； 3.步骤： 1.第一步：备份hdfs-site
CDH增加新的节点，扩容DataNode报错
十色花的博客
12-10 1218
 可能出的错 1 Hive还是Hue启动不起来, 提示ImportError: libxslt.so.1 ... 其实真正的错是缺少libxml2. 但是用yum install libxml2并不能解决的, 要用yum install libxml2-python 2 Hue起不来还有一个可能是没有装libxslt, 请用yum install libxslt.x86_64 3 HDFS或...
CDH 集群 HDFS 热插拔磁盘操作注意事项
ClouderaHadoop的博客
06-18 375
若将已使用过的 HDFS 数据盘热插拔接入 DataNode，可能会因数据目录不一致、block 元数据冲突等引发 NameNode 报错或副本异常。若磁盘被其他 DataNode 使用，存在数据丢失风险（HDFS 认为数据副本缺失，会触发重复制）。正确做法：添加新磁盘 → 格式化 → 挂载 → 配置为空数据目录 → 重启 DataNode。若未物理移除磁盘或清除数据，后续操作可能会被错误识别为“数据目录恢复”，引发元数据冲突；在 CM 移除磁盘路径后，立即停用该磁盘或清理其数据。NameNode 报警；
CDH4.3.0版本HDFS性能测试报告
8. **CDH版本特性**: CDH4.3.0版本针对HDFS引入了多个改进和修复，包括了对大数据处理速度的优化，以及提高系统的稳定性和可扩展性。在进行性能测试时，了解这些特性有助于更加精确地评估和分析测试结果。 9. **...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值