清理hadoop集群有问题的块（CORRUPT block）

最新推荐文章于 2025-06-18 12:33:54 发布
原创 最新推荐文章于 2025-06-18 12:33:54 发布 · 856 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#大数据

本文详细介绍了在Hadoop0.203u2环境下，如何通过执行特定命令来解决删除文件的问题。通过两次执行命令，首先使用sudo-uhdfs进行删除操作，然后再次执行检查命令确保无误。此过程适用于Hadoop环境下的文件管理。

环境：

hadoop 0.20 3u2

 

root下执行命令：

sudo -u hdfs hadoop fsck -delete

 

再次执行下面检查命令就没问题了

sudo -u hdfs hadoop fsck /

 

-- heipark

 

 

hdfs missing blocks corrupt blocks
Black&White的专栏
01-05 1341
环境： CDH集群 问题描述： Cloudera Manager 监控HDFS爆红 Canary 测试无法为 /tmp/.cloudera_health_monitoring_canary_files 创建父目录 Missing blocks Currupt blocks 解决方案： 以上问题描述都是hdfs丢失块或者块损坏造成，当hdfs丢失块时，hdfs会进去安全模式，只能...
hadoop集群硬盘损坏_Hadoop集群硬盘故障分析与自动化修复
weixin_39768917的博客
12-19 381
Hadoop集群硬盘故障分析与自动化修复摘要：硬盘在服务器中起着至关重要的作用，因为硬盘里面存储的是数据，随着制造业技术的提高，硬盘的类型也在逐渐的改变。对于硬盘的管理是IAAS部门的责任，但作为业务运维也需要懂得相关的技术。有的公司采用LVM来管理硬盘，这样做方便扩缩容，也有的公司直接用裸盘来存数据，这样做的好处是不会因LVM而损失掉一部分硬盘I/O速度。需要根据不同的场景采用不同的方式来管理。...
Hadoop HDFS操作命令
Aurora Silent
01-27 1033
Hadoop HDFS操作命令 查看Hadoop HDFS支持的所有命令 hadoop fs 列出目录及文件信息 hadoop fs -ls 循环列出目录、子目录及文件信息 hadoop fs -lsr 将本地文件系统的test.txt复制到HDFS文件系统的/user/sunlightcs目录下 hadoop fs -put test.txt /user/sunlightcs 将HDFS...
hbase和hadoop数据块损坏处理
11-05
介绍hbase和hadoop数据块损坏如何处理
基于hadoop的Hbase集群丢失块信息后，清除Hbase数据，格式化hdfs文件系统
lll0101的博客
07-25 2467
可以看到在hdfs文件系统中Hbase的元数据块丢失，这是非常严重的，因本人初学，所以采用格式化的方式来重建。 启动Hbase集群后显示如下错误： 1.清除数据之前先把Hbase和Hadoop及zookeeper(Hbase 依赖于zookeeper)的相关的进程都停掉 stop-hbase.sh(停Hbase进程) stop-all.sh（停Hadoop进程） zkServer.sh s...
记一次HDFS的block corrupt事件
weixin_34168880的博客
02-14 673
还有最后两天班，明天晚上回家过年了，可是CDH突然报了一个block missing的错误，用 hdfs fsck /检查了一下，我们的块一共有500W个，missing了将近100W个，天呐，不过由于Hdfs的replication的机制，只要不是3份全丢就可以修复，这样，绝大部分的块都修复了，但是还是有3000多个块是3份都丢失了，3份全丢后，状态就为corrupt，直接导致小时报和日报收到影...
Hadoop集群添加、删除节点
oToyix的博客
07-06 3267
hadoop群集部署，请见上篇 https://blog.csdn.net/oToyix/article/details/118520585 一、Hadoop节点扩容 随着公司业务不断的发展，数据量也越来越大，此时需要对Hadoop集群规模进行扩容，在现有Hadoop 3台集群的基础上动态增加node4服务器上的DataNode与NodeManager节点。操作方法和步骤如下： 1、Hosts及防火墙设置 node1、node2、node3、node4节点进行如下配置： cat >/etc/hosts
基于Docker的Hadoop集群搭建
Life_Cycle_的博客
04-05 1787
基于Docker的Hadoop集群搭建 本文为在阿里云服务器上基于docker的Hadoop集群搭建 安装思路为 安装docker -> 运行docker导入ubuntu镜像 -> 运行ubuntu系统 -> 在系统中配置好单个节点 -> 将配置好的单个节点系统导出为镜像 -> 根据镜像启动多个docker容器 -> 多个docker容器就是集群了。 总结：就...
大数据领域Hadoop的集群性能监控指标
大数据洞察的博客
06-18 685
Hadoop作为大数据处理的核心平台，其集群性能直接影响数据处理效率和系统稳定性。本文旨在系统性地介绍Hadoop集群性能监控的关键指标体系，帮助管理员和开发者全面掌握集群运行状态，及时发现和解决性能瓶颈。本文将从基础概念入手，逐步深入到指标采集、分析和应用的全过程，最后提供实战案例和工具推荐，形成完整的知识体系。NameNode：HDFS的元数据管理节点：YARN的资源调度核心组件DataNode：HDFS的数据存储节点：YARN的节点资源管理组件Block。
About Hadoop 集群管理维护
你的世界是你创造的结果
03-25 430
Hadoop Test 1、安全模式 查看namenode是否处于安全模式下 [root@bdpnamenodemaster ~]# hadoop dfsadmin -safemode get DEPRECATED: Use of this script to execute hdfs command is deprecated. Instead use the hdfs command for ...
机房断电引起hadoop hdfs corrupt blocks
CrazyPig的技术博客
06-06 5115
周末公司紧急停电引起机房hadoop测试集群断电，当周一回来准备重启集群发现Cloudera Manager报HDFS块损坏的错误。我们CDH测试集群上面有HBase集群和Solr集群的数据保存在HDFS上。
hdfs损坏block定位以及修复
moyuan的博客
04-06 6637
在HDFS中，提供了fsck命令，用于检查HDFS上文件和目录的健康状态、获取文件的block信息和位置信息等。 fsck命令必须由HDFS超级用户来执行，普通用户无权限。 可通过hdfs fsck来查看该命令的帮助文档，如下图所示： 1.手工修复 hdfs debug 1）造一份数据上传到hdfs [hadoop@hadoop001 data]$ hadoop fs -put test.tx...
HDFS冗余数据块的自动删除
weixin_34326558的博客
11-24 376
在日常维护hadoop集群的过程中发现这样一种情况： 某个节点由于网络故障或者DataNode进程死亡，被NameNode判定为死亡， HDFS马上自动开始数据块的容错拷贝； 当该节点重新添加到集群中时，由于该节点上的数据其实并没有损坏， 所以造成了HDFS上某些block的备份数超过了设定的备份数。 通过观察发现，这些多余的数据块经过很长的一...
HDFS Block损坏恢复实践
Java大数据
08-21 1381
文章目录一，介绍：二，实践三，修复①hdfs debug 手动修复(推荐）②手动修复二③自动修复四总结 一，介绍： ①：hdfs fsck /path 检查path中文件的健康状况 ②：hdfs fsck /path -files -blocks -locations 打印文件块的位置信息(-locations) 需要和-files -blocks一起使用 ③：hdfs fsck /path -l...
[Hadoop shell命令]--处理hdfs上错误的block块并修复
热门推荐
欢迎来到我的博客，一起探索代码里的世界！
05-18 1万+
情景：运行Spark程序出现报错1、报错信息：17/05/09 14:30:58 WARN scheduler.TaskSetManager: Lost task 28162.1 in stage 0.0 (TID 30490, 127.0.0.1): java.io.IOException: Cannot obtain block length for LocatedBlock{BP-20353...
HDFS Corrupt blocks 解决方法
微步的博客
07-20 7556
查看修复HDFS中损坏的块 检测缺失块 1 hdfs fsck -list-corruptfileblocks 1 hdfs fsck / | egrep -v '^\.+$' | grep -v eplica 查看上面某一个文件的情况 1 hdfs fsck /path/to/corrupt/file -locations -blocks -files 解决方法 如果文件不重...
删除hdfs非白名单坏块和恢复
一只小白
04-28 608
删除hdfs非白名单坏块的办法： hdfs fsck -delete /tmp/logs/hbase/logs/application_1593277642355_0227/hadoop001_8043 如果不小心用-rm删除了坏块的文件，需要在回收站中先恢复，在用fsck删除坏块： 1、找到文件在回收站中的位置： $ hdfs dfs -ls /user/hdfs/.Trash/Current/tmp/logs/hbase/logs/application_1593277642355_0231 2、恢复坏
ext4文件系统下的corrupt data block 问题处理
congbian2246的博客
01-21 635
背景 客户的数据库是11.2.0.1，刚从AIX上迁移到PC服务器上，迁移时，归档文件是放到FRADG上的，备份一直没有问题，但最近将归档目录修改到文件系统后，备份时alter.log就出现如下...
常见corruption block总结
congdiku5262的博客
02-22 903
常见的corruption类型 (a) ORA-01578 –物理坏块：数据块头(cache header)损坏；数据块incomplete(头/尾值不匹配)；checksum校验...
block with corrupt replicas是什么指标
最新发布
07-19
`Block with corrupt replicas` 是Hadoop HDFS（Hadoop Distributed File System）监控中的一个关键指标，用于表示在文件系统中存在至少一个损坏副本的数据块数量。在HDFS中，文件被划分为多个数据块（Block），每个...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值