记一次HDFS容量失误事件

最新推荐文章于 2018-09-13 20:32:50 发布
最新推荐文章于 2018-09-13 20:32:50 发布
阅读量444 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： bigdata 文章标签： w we
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq1226317595/article/details/82688642
本文记录了新集群中115节点磁盘爆满的问题，详细介绍了使用df-h、hadoop dfsadmin-report及MegaRAID工具检查磁盘容量的过程。问题在于虚机115的数据集中于单一磁盘，导致容量不足。最终通过移除115节点解决了该问题。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

新集群有8台电脑（还在不断迁移集群），在2018年9月11日，发生了115节点的磁盘爆满的问题。
#通过df -h命令获取容量
得到结果为3.7T
#通过hadoop dfsadmin -report获取容量
这里写图片描述
可以看到认为是12.56TB数据
#通过MegaRAID查看
/opt/MegaRAID/MegaCli/./MegaCli64 -PDList -aALL | egrep ‘Adapter|Enclosure Device ID|Coerced Size|Drive Temperature|PD Type|Slot|Inquiry’
结果显示：
这里写图片描述

#国外
https://stackoverflow.com/questions/48710784/hdfs-configured-capacity-higher-than-disk-capacity
#原因
115是虚机，data1，data0，都在一个盘中，所以出现了问题
#修复
移除115节点

分布式文件系统HDFS基本原理
zhengzaifeidelushang的博客
08-03 746
HDFS是一个分布式文件系统，具有良好的扩展性、容错性以及易用的API。核心思想是将文件切分成等大的数据块，以多副本的形式存储到多个节点上。HDFS采用了经典的主从软件架构，其中主服务被称为NameNode，管理文件系统的元信息，而从服务被称为DataNode，存储实际的数据块，DataNode与NameNode维护了周期性的心跳，为了防止NameNode出现单点故障，HDFS允许一个集群中存在主备NameNode，并通过ZooKeeper完成Active NameNode的选举工作。HDFS提供了丰富的访
hdfs的空间容量
lepton126的专栏
03-08 2411
在安装hadoop完成后，发现hdfs文件系统的空间容量极小，平均下来每个数据节点只提供了50G大小的容量。操作系统环境是centos7 mini ，硬盘分区化时缺省是给根目录分配了50G ，而将绝大多数的空间都分配给了 home目录，hdfs文件系统的配置文件hdfs-site.xml中的dfs.namenode.name.dir和 dfs.datanode.data.dir...
(3)Hadoop HDFS 容量
sun
02-04 4743
HDFS 上每个数据节点最多能存储多少数据取决于节点的硬盘大小。对于单个节点来说，其存储的容量为磁盘容量减去hdfs-site.xml配置文件中dfs.datanode.du.reserved参数值。 dfs.datanode.du.reserved 900000000000 Reserved space in bytes per volume. Always leave this muc
hadoop存储hdfs磁盘余留问题
dingyanming的博客
10-16 3141
背景介绍： 近日由于公司大数据集群进行了升级，新增的服务器数据盘几乎是空的，但是考虑到集群数据量较大（大概100多个TB），而且集群几乎24小时在用，考虑到以下因素， 1 做大规模集群负载均衡是否会造成数据丢失？ 2 根据hadoop官网介绍限制负载均衡网络限制(dfs.datanode.balance.bandwidthPerSec)是否可以起到真正的作用？  3 迁移过程中，有些块正在
关于hadoop hdfs中Non DFS Used占用很大的问题分析处理
TURING.DT
04-20 6797
今天帮一个朋友处理hdfs上Non DFS Used占用很大的问题， 从hadoop UI界面看到的节点信息存储容量： Capacity| Used| Non DFS Used| Remaining 4.46T| 1.69T| 1.46T| 1.31T Non DFS Used怎么有这么大，于是先看看dfs.datanode.du.reserved配置，10G很正常，那去看看dfs.dat
Hadoop常见错误之HDFS
邹中凡
08-13 1万+
下面小编整理在工作中遇到的问题，以及解决方法。 1，Datanode启动失败错误 现象 在启动Datanode时，/var/log/hadoop-hdfs/hadoop-cmf-hdfs-DATANODE-cdh-node12.grc.log.out日志文件中有如下错误：Caught exception while scanning /data/dfs/dn/current. Will thr
【HDFS数据恢复案例大讲堂】：真实事件中的回收站应用与处理技巧
[【HDFS数据恢复案例大讲堂】：真实事件中的回收站应用与处理技巧](https://www.pandorarecovery.com/wp-content/uploads/2023/06/data-recovery-sections-1024x594.jpg) # 1. HDFS数据恢复概述 ## 1.1 HDFS数据...
深入理解HDFS：datanode故障恢复机制探究
Hadoop分布式文件系统（HDFS）是Hadoop项目的核心组件之一，它被设计为能够跨商业硬件集群存储大量数据。HDFS采用了主从（Master/Slave）结构来实现分布式存储，主要包含两个关键组件：NameNode和DataNode。NameNode...
HDFS数据备份与灾难恢复策略：专家级解决方案曝光
文章首先概述了HDFS数据备份与灾难恢复的重要性，然后详细介绍了不同备份策略，包括理论基础、实践操作和高级技术。接着，本文深入讨论了灾难恢复计划的理论和实践操作，包括恢复步骤和真实案例分析。此外，本文还...
HDFS磁盘故障应对：如何3分钟内快速恢复数据
Hadoop分布式文件系统（HDFS）因其出色的高容错性和可扩展性成为处理大规模数据集的首选解决方案。然而，在实际运营过程中，磁盘故障不可避免地会对数据的完整性与可用性构成威胁。当磁盘损坏或数据损坏发生时，能否...
hadoop的Configured Capacity和DFS Remaining变成0的解决办法
走走看看
09-13 5284
Configured Capacity: 0 Configured Remote Capacity: 0 B DFS Used: 0 KB (0%) Non DFS Used: 0 GB DFS Remaining: 0 GB (0%) Block Pool Used: 0 KB (0%) DataNodes usages% (Min/M...
HDFS空间占用问题解决
雨钓的专栏
03-29 1万+
HDFS文件系统问题
值得一提：关于 HDFS 的 file size 和 block size
热门推荐
samhacker的专栏
04-07 2万+
一个常被问到的一个问题是： 如果一个HDFS上的文件大小(file size) 小于块大小(block size) ，那么HDFS会实际占用Linux file system的多大空间？ 本文会通过实验分析这个问题。
hadoop进阶---hadoop性能优化(一)---hdfs空间不足的管理优化
直到世界的尽头
03-03 9615
Hadoop 空间不足，hive首先就会没法跑了，进度始终是0%。 将HDFS备份数降低 将默认的备份数3设置为2。 步骤：CDH–>HDFS–>配置–>搜索dfs.replication–>设置为2 删除无用HDFS数据和Hbase表格 主要使用命令hadoop fs -du，hadoop fs -ls，hadoop fs -rm 空间不足根本的解决...
docker建立私有仓库
weixin_33890526的博客
01-11 88
docker建立私有仓库实验环境： 怎样将vmware与viutualBOX的网络互通这里就不详细说明了。在xin7上安装docker首先在docker的官方站点下载docker的windos安装包，因为墙的因素，这个安装包很难下下来，这边提供了我的网盘链接http://pan.baidu.com/s/1dDGQHZb。因为docker是基于linux平台的，...
Hdfs磁盘存储策略和预留空间配置
www.hohode.com
02-24 3670
下文写的很好，可能是今天大脑缺氧，一直没有完全看懂。 https://my.oschina.net/xiaozhublog/blog/786788
hadoop磁盘空间满的异常
大数据训练营
09-01 1万+
本事故，发生在测试的环境上，虽然不是线上的环境，但也是一次比较有价值的事故。 起因：公司里有hadoop的集群，用来跑建索引，PHP使用人员，调用建索引的程序时，发现MapReduce集群启动不起来了，报IOException异常，具体的异常没有记录，大致的意思就是磁盘空间满了，导致创建文件失败！ 下面散仙模拟当时的环境，接到问题后，第一件事就是先查看centos系统的磁盘使用率 执行命令
混合云的容量扩展与功能添加
weixin_34150224的博客
07-04 90
1.使用混合云来增加数据中心容量 “混合云”这个术语已经在IT操作团队中普遍使用，但并不是每个人对此都意见一致。基本上，混合云是指任何情况下，企业的部分应用程序在企业的数据中心运行，另一部分在一个公共云或多个公共云（如AWS，Microsoft Azure或Google云平台）中运行。 同时，私有云是企业将云类型架构和功能并入自己的私有数据中心。这里的目...
将 HDFS 搬上数人云：轻松实现集群的扩展收缩
weixin_34342905的博客
02-02 118
HDFS 是 Hadoop Distributed File System 的简称，作为 Apache Hadoop Core 项目的一部分，提供了一个高度容错性的分布式文件系统，适合部署在廉价的机器上。HDFS 可以提供高吞吐量的数据访问，非常适合大规模数据集上的应用，很多大数据框架都已 HDFS 作为其存储方案，如 Hadoop、Sp...
dolphinscheduler文件上传显示hdfs操作失误
最新发布
07-24
Dolphinscheduler是一个开源的任务调度系统，用于管理各种任务流并提供统一的API接口供上层应用使用。当用户在Dolphinscheduler中尝试上传文件到HDFS（Hadoop分布式文件系统），并且遇到“HDFS操作错误”的情况，通常表明在进行文件上传的过程中发生了某个异常。这种错误可能是由多种原因引起的： ### 错误原因分析： 1. **权限问题**：可能是因为当前登录用户的HDFS权限不足，无法将文件上传至指定目录。 2. **网络连接问题**：网络不稳定或是防火墙设置导致的连接失败。 3. **配置错误**：Dolphinscheduler服务端或客户端的配置可能存在错误，比如HDFS的地址、端口、用户名等信息配置不正确。 4. **HDFS资源不足**：目标目录的空间已满或其他资源限制导致的失败。 5. **程序错误**：Dolphinscheduler的内部逻辑存在错误，如异常处理机制未能正确捕获和响应错误。 6. **临时故障**：暂时性的系统负载过高、服务器故障等情况也可能导致此类问题。 ### 解决步骤： 1. **检查权限**：确认上传用户是否拥有足够的权限访问HDFS的指定路径，并检查用户的身份认证机制是否正常工作。 2. **验证配置**：检查Dolphinscheduler的服务端和客户端配置文件中HDFS的相关配置，包括地址、端口、用户名等，确保它们与实际使用的环境匹配。 3. **调试日志**：查看Dolphinscheduler的日志文件，特别是与HDFS交互相关的日志条目，以获取更详细的错误信息和上下文，这有助于定位具体的问题点。 4. **网络诊断**：如果怀疑是网络问题，可以测试从本地主机到HDFS服务器的网络连通性和数据传输能力。 5. **资源监控**：检查HDFS服务器的资源使用状况，如空间容量、CPU和内存使用率，确保有足够的资源用于文件上传。 6. **重启服务**：有时候简单的重启Dolphinscheduler服务或相关组件可以帮助解决由于缓存或临时状态错误引起的问题。 7. **求助社区**：如果上述步骤都无法解决问题，可以考虑在技术论坛或GitHub仓库提交问题报告，寻求其他开发者或专家的帮助。 通过以上步骤逐步排查和解决Dolphinscheduler上传文件到HDFS时的“HDFS操作错误”，通常能够有效定位并解决该类问题。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值