CDH中HDFS多节点磁盘大小不统一问题

最新推荐文章于 2024-07-21 10:02:04 发布

原创

最新推荐文章于 2024-07-21 10:02:04 发布 · 7.3k 阅读

3 ·

CC 4.0 BY-SA版权

博客讲述了在CDH集群中，由于HDFS节点磁盘大小不一致导致的问题，如小容量节点先满载，进而影响系统运行。作者建议通过配置HDFS的非DFS保留空间来解决这个问题，确保HDFS剩余可用空间小于系统可用空间，并给出了配置和验证的方法。

开发中遇到集群节点的磁盘空间大小差距比较大，2T到20T不等。

由于HDFS的存储机制，数据是分布式均匀存储到节点上，所以会导致空间小的节点先存储满，进一步导致该节点没有多余空间存储各种运行文件而崩溃。

运行df -h指令查看节点磁盘使用情况

Filesystem Size Used Avail Use% Mounted on

/dev/mapper/vg_lv_root 345G 214G 114G 66% /

总大小为345G,剩余可用为114G

运行hdfs dfsadmin -report指令查看节点hdfs使用情况

Configured Capacity: 364628604928 (339.59 GB)
DFS Used: 214173401155 (199.46 GB)
Non DFS Used: 9903613885 (9.22 GB)
DFS Remaining: 121362387193 (113.03 GB)
DFS Used%: 58.74%

DFS Remaining%: 33.28%

剩余可用只有113G，预留给系统的空间只有1G不到，有时剩余可用甚至大于实际系统可用

这种情况下就要保证HDFS的剩余可用小于系统剩余可

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

cesgo

关注关注

0
点赞
踩
3

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

CDH远程监控所有HDFS节点磁盘空间和自动清除日志

大模型大数据攻城狮的专栏

06-13

795

为了在Java程序中使用SSH协议，我们选择了JSch库。JSch是一个纯Java实现的SSH2客户端库，它可以用于连接到SSH服务器，执行命令，传输文件，端口转发和X11 forwarding等。它的使用简单，功能强大，广泛应用于SSH操作的场景。

CDH部署HDFS详细指南

最新发布

ljw714的专栏

06-19

950

本文详细介绍了使用CDH部署HDFS集群的全过程，主要包括五个方面：1) 环境准备，包括硬件、软件和网络配置要求；2) CDH安装步骤，涵盖Cloudera Manager和CDH组件的安装；3) HDFS配置指南，包含基础与高级配置参数；4) 集群管理方法，涉及服务启动、日常维护和故障处理；5) 最佳实践建议，提供性能优化和安全加固方案。该指南为快速构建稳定高效的HDFS集群提供了全面参考，适用于不同规模的部署需求。

参与评论您还未登录，请先登录后发表或查看评论

HDFS数据不均衡解决方案：基于剩余空间大小的均衡策略

走在前往架构师的路上

10-22

4390

前言相信对于广大的Hadoop集群的使用者和维护者，集群在长时间的使用过程中，肯定或多或少碰到节点间数据不均衡的现象。比如有些节点可能磁盘使用率已经达到90%，而有些节点可能就10%。当然我们说，在使用百分比明细不均衡的情况下，我们可以用HDFS提供的Balancer工具帮我们解决这个问题。但是这不能解决所有的情况，比如说存在异构节点的集群。举一个简单的例子，集群内2个节点：A节点磁盘容量100T,

hadoop集群一台机器多块磁盘存储不均问题

ImezZ

01-05

2361

在hdfs-site.xml 配置文件按下面三个步骤添加参数。添加完同步至datanode节点。 1、数据存储磁盘参数设置多个磁盘目录剩余磁盘空间大的在前面 <property> <name>dfs.data.dir</name> <value>/data1/dfs/dn,/mnt1/dfs/dn1,/mnt2/dfs/dn</value> </property> 2、datanode多存储

从零开始搭建CDH（三）---观察HDFS

wyj1023405602的博客

08-11

836

之前在CDH上安装好了服务HDFS，这里观察一下HDFS包括数据持久化和文件读写在内的一些工作流程。目录 1. 数据持久化观察 2. HDFS文件读写观察 2.1 新建文件目录 2.2 上传文件 2.3 下载文件 1. 数据持久化观察进入HaDoop页面观察其启动过程：加载镜像文件fsimage 加载日志文件edits 保留checkpoint ...

Hdfs的数据磁盘大小不均衡如何处理

bigdata_player

03-08

1271

最近在解决一个现在看起来很简单的问题。

Java代码实现CDH远程监控所有HDFS节点磁盘空间和自动清除日志

06-13

用Java语言结合JSch库，实现在单台机器上远程监控多台服务器上的HDFS状态、磁盘空间，并在必要时自动删除日志文件，以释放空间。详细教程可以看：https://aigpt.blog.youkuaiyun.com/article/details/139625439

CDH使用Disk Balancer平衡磁盘HDFS数据

十八闲客的博客,专注于大数据运维

07-21

770

从 CDH 5.8.2 开始，Cloudera Manager提供了一个全面的存储容量管理解决方案，可以跨节点 (Balancer)、存储类型(Mover)和单个DataNode中的磁盘(磁盘平衡器)。2、显然上述两个磁盘需要进行磁盘平衡，假设要平衡的主机名称为lei-dn-3.example.org，通过如下命令可以生成磁盘平衡任务：。-ls后面跟着的是上一步生成计划的时间，可以看到有格式如{机器名}.plan.json文件夹（不是一个文件）。通过如下命令可以查询生成的JSON文件：。

Hadoop的磁盘大小不一导致节点挂掉

黑马程序员广州中心的专栏

11-11

940

问题描述 DataNode挂载的磁盘或者DataNode节点挂载多个磁盘，如果存在一些磁盘大小不一样，数据在落盘时就可能会出现磁盘使用率不均匀的情况，容量较小的盘容易被写满，而容量大的盘还剩很多空间。磁盘写满后，影响Hadoop集群的正常工作。建好集群后需要将历史记录导入到hbase中，而集群中有三台主机外接了磁盘阵列，主机磁盘阵列大小四十多G，磁盘阵列大概1.6...

Hadoop集群datanode磁盘不均衡的解决方案

01-29

Hadoop的HDFS集群非常容易出现机器与机器之间磁盘利用率不平衡的情况，比如集群中添加新的数据节点，节点与节点之间磁盘大小不一样等等。当hdfs出现不平衡状况的时候，将引发很多问题，比如MR程序无法很好地利用本地计算的优势，机器之间无法达到更好的网络带宽使用率，机器磁盘无法利用等等。因业务需要搭建一个新hadoop集群，并将老的hadoop集群中的数据迁移至新的hadoop集群，而且datanode节点不能全部上线，其中还可能会出现节点上线或下线的情况，这个时候就很容易出现机器与

hadoop的datanode多磁盘空间不统一…

danssion的专栏

06-25

6894

<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"> <div id="content" class= "content mod-cs-content text-content clearfi

Elasticsearch的数据节点磁盘容量不同时如何优化分片分配策略

zhinengyunwei的博客

01-19

2983

作者：石文时间：2018-07-11 概要 Elasticsearch版本：5.6.4 Elasticsearch集群均衡策略我们经常用“开箱即用”形容Elasticsearch在配置上的简洁性。无论是节点级别的配置、还是集群级别的配置往往默认配置是非常有优势的。但是这些默认配置在大集群情况下、大的数据量写入的情况下往往会出现一些“坑”。本文主要探讨Elasticsearch集群均衡策略的配...

Hadoop集群HDFS各节点磁盘使用率不平衡，使用balancer做数据平衡

chun的博客

01-12

2567

HDFS上各节点磁盘大小不一致，新增节点数据平衡前，是非常不均衡的，某些节点已经接近90了集群的数据平衡已经迫在眉睫，必须要搞一搞了。 1.设置传输速率我这里是万兆网卡，就先设置100M了在两台master上分别执行： hdfs dfsadmin -fs hdfs://nn1:8020 -setBalancerBandwidth 100M 2.找一台空闲集器，开始平衡数据 #设置数据之间差值5% nohup $Hadoop_home/bin/start-balancer.sh –threshol

CDH使用Disk Balancer平衡磁盘HDFS数据

Alderaan的博客

08-06

3016

当集群磁盘空间不足时，需要增加新硬盘到机器，此时新加入的磁盘空间基本为空，而旧磁盘则已占用很多。网上则是通过增减副本的方式达到磁盘平衡方式，但如果磁盘空间大小本身不一致，通过该方法平衡后，磁盘空间不平衡情况依然存在。从 CDH 5.8.2 开始，Cloudera Manager提供了一个全面的存储容量管理解决方案，可以跨节点 (Balancer)、存储类型(Mover)和单个DataNode中的磁盘(磁盘平衡器)。

记一次HDFS空间清理：Non DFS Used

激进的蜗牛

10-23

5511

文章中记录了问题发现和解决的过程，单纯为了解决问题的伙伴请到最后一段。发现问题入职到公司后，维护集群时有一项日常不是很频繁的任务就是清理集群数据。我们公司的Hadoop（CDH 5.x）集群大概不到50台的样子，总DN容量在450T左右。这个数据量对于大的互联网公司可能不算什么，但我之前一直也没遇到过如此多的数据，百T级别的容量都要清理空间，感觉公司的数据量实在是庞大。但随着入职时间的增加，在进行日常运维的时候发现了一些不太合乎逻辑的问题。比如我们看到的告警信息如下机器的总容量是7.8T

CDH集群HDFS磁盘扩容及去除磁盘的问题

没有合适的昵称

11-21

3627

将磁盘挂载到指定的目录下 1.为新磁盘创建分区 fdisk -l 2. 指定磁盘创建分区 fdisk /dev/vdb Command (m for help): n(n表示创建分区) Partition type:(表示磁盘有两种分区类型： “p”表示主分区。 “e”表示扩展分区。) (磁盘使用MBR分区形式，最多可以创建4个主分区，或者3个主分区加1个扩展分区，扩展分区不可以直接使用，需要...

Hadoop-hdfs 设置磁盘

weixin_47099283的博客

12-20

837

Hadoop-hdfs 设置磁盘

Java远程监控HDFS节点磁盘并清除日志教程

资源摘要信息:"Java代码实现CDH远程监控所有HDFS节点磁盘空间和自动清除日志" 知识点一：Java语言的应用 Java是一种广泛应用于企业级开发的编程语言，其具有跨平台、面向对象、健壮性、安全性等特点。在本例中，...