cdh6.2 Hdfs 副本不足, 解决

CDH5部署三部曲之三:问题总结,java面试逻辑题及答案 于是安装所需服务: yum install -y nfs-utils rpcbind 启动服务: systemctl start rpcbind 再次启动: 等待HDFS服务重启完成后,如下图,可见NFS Gateway问题已经消失: HDFS副本不足的块 问题如下图绿框所示: 目前只有一个datanode,可以增加一个,如下图,进入HDFS的实例页面,点击"添加角色实例": 点击下图红框位置,增加一个DataNode: 如下图,确保worker1和worker2都选. 阅读详情

问题:

分析

一般副本数 默认为3, 当你的datanode 数目小于3 时, 就会报这个错。

也许你的datanode 有3个或者更多, 但是,你的部分datanode一定是不正确的。

比如我, 我就有三个datanode. 但是我之前有一个 datanode 是dimission状态。 所以其实只有两个。

前往 namenode web UI 这个图形化页面查看。是否像下面的列表,是否都有绿色的√。

 

解决方法:

网上一些方法是说:既然只有两个DataNo可用。就把副本数改为2:,(方法如下)

首先到hdfs 的配置界面,修改参数 replication 值为2

再在 linux 终端 输入 hadoop fs -setrep -R 2 /

 

如果还想保持三个, 就在 hdfs 实例中,删除这个有问题额Datanode.

然后重新添加一个datanode. 满足有3 个datanode 可用。问题解除。

可能会有人说,datanode 随便删除不好。这里我也不反驳

我的情况, 本身就是一个新的datanode. 不知道有什么问题造成 它变成Dimission了。

CDH部署HDFS详细指南 本文详细介绍了使用CDH部署HDFS集群的全过程,主要包括五个方面:1) 环境准备,包括硬件、软件和网络配置要求;2) CDH安装步骤,涵盖Cloudera Manager和CDH组件的安装;3) HDFS配置指南,包含基础与高级配置参数;4) 集群管理方法,涉及服务启动、日常维护和故障处理;5) 最佳实践建议,提供性能优化和安全加固方案。该指南为快速构建稳定高效的HDFS集群提供了全面参考,适用于不同规模的部署需求。 阅读详情

相关推荐

0593-CDH5与CDH6对比

1 文档编写目的 Cloudera于2018年8月30日正式发布CDH6.0.0,至2019年2月19日,最新的迭代版本为CDH6.1.1,可能马上就会发布CDH6.2。CDH6是基于Hadoop3同时包含大量其他组件的大版本更新的发布版本,许多用户考虑到未来CDH的版本主要是基于C6,而CDH5会慢慢的停止更新,所以考虑新搭集群使用CDH6,或者想把已有的CDH5集群升级到CDH6。第一个问题就...

Hadoop_SC的博客 4486

解决 HDFS副本数不足问题

1.现象 CDH界面 HDFS出现爆红项,查看详情发现是 副本数不足导致的,如下: HDFS和 CDH版本:2.6.0+cdh5.15.1+2822 2.分析 报错是很明确的:接近 99%的 hdfs块副本缺失。 默认情况下 hdfs的副本一般是3个,要求至少有3个 DataNode。出问题的集群是一个测试集群,之前一共有 3台机器,最近由于一台机器故障,现在集群只剩 2台机器了,问题应该就出在这里了。 明确一下问题的原因: ​ 集群现有的机器数量不满足 3个 DataNode的要求,故导致副本数不足。

Daphnis的博客 5493

ElasticSearch备份快照到HDFS-2.6(CDH5.6.0)

由于业务需要将ES-2.2.1版本升级到ES-2.3.2版本,需要将index迁移过去,查了很多资料,最后决定用es的快照/恢复模块来实现,把快照保存到hdfs-2.6上

洽洽老大的专栏 6630

CDH 测试 HDFS 是否具有过多副本不足块。

关注微信公共号:小程在线 关注优快云博客:程志伟的博客 测试 HDFS 是否具有过多副本不足块。 不良 : 群集中有 1,814 个 副本不足的块 块。群集中共有 1,816 个块。百分比 副本不足的块: 99.89%。 临界阈值:40.00%。 这是 HDFS 服务级运行状况测试,用于检查副本不足的块数是否未超过群集块总数的某一百分比。 该运行状况测试失败可能表示 DataNode 丢失。使用 HDFS fsck 命令可确定哪些文件含有副本不足的块。 可使用 副本不足的块监控

程志伟的博客 3388

在CDH集群中启用HDFS的HA

     在HDFS集群中NameNode存在单点故障(SPOF),对于只有一个NameNode的集群,如果NameNode机器出现意外,将导致整个集群无法使用。为了解决NameNode单点故障的问题,Hadoop给出了HDFS的高可用HA方案,HDFS集群由两个NameNode组成,一个处于Active状态,另一个处于Standby状态。      Active NameNode可对外提供服务...

一亩三分地 2444

不良 : 群集中有 1,814 个 副本不足的块 块。群集中共有 1,816 个块。百分比 副本不足的块: 99.89%。 临界阈值:40.00%。

The health test result for HDFS_UNDER_REPLICATED_BLOCKS has become bad: 1,814 under replicated blocks in the cluster. 1,816 total blocks in the cluster. Percentage under replicated blocks: 99.89%. Critical threshold: 40.00%.(不良 : 群集中有 1,814 个 副本不足的块 块。群集中共

m0_49027804的博客 1747

HDFS块预留导致的存储空间异常的问题探究

HDFS的块预留策略(blocksScheduled)在特定的写入异常情况下,会让NameNode错误判断DataNode的剩余可用存储空间,最终导致DataNode在存储空间足够的情况下也不再被NameNode调度。本文对该问题的发现过程、诊断过程、原理进行了探究和讨论,重在展现分布式系统debug过程中应有的习惯、思维方式、常用手段等。

小昌昌的博客 1353

CDH6.3.2安装(rhel7.6)

CDH6.3.2测试环境部署

yangZHyu的博客 3121

CDH 丢失块及副本不足的块

备注: CDH 6.3.1 文章目录一.问题描述二.解决方案2.1 丢失块查找2.2 解决oozie副本块不足的问题2.2.1 设置3个副本模式2.2.2 删除坏的块:参考 一.问题描述 如下图所示,刚安装的CDH,提示存在丢失块,也存在副本不足的块 二.解决方案 2.1 丢失块查找 sudo -u hdfs hadoop fsck / -files -blocks 测试记录: FSCK started by hdfs (auth:SIMPLE) from /10.31.1.123 for path /

只是甲的博客 3849

CDH修改HDFS以及存储的副本数量由备份3到备份2

首先第一个问题,我们修改CDH的HDFS副本设置后,历史的备份3数据是否会删除,还是从设置后才开始遵守备份2的? 都需要操作哪些? 好的,我们带着问题来具体操作一下; 1.首先在CDH,HDFS中配置找到复制因子(dfs.replication),如下: 将原有dfs.replication的值3 改为 2。 2.然后所有服务列表会出现如下显示: 3.我们只需要点击随意的一个flume或者hdfs或者其他服务的重启(包含配置分发)均可。 4.等待成功重启后,我们就可以慢慢那么的看到HD.

杨鑫newlife的专栏 6037

hadoop基础----hadoop实战(九)-----hadoop管理工具---CDH的错误排查(持续更新)

啊解决红色警报时钟偏差这是因为我们的NTP服务不起作用导致的,几台机子之间有几秒钟的时间偏差。这种情况下一是把NTP重新整理配置一下。一种是在操作里调整报警误差范围。因为NTP的时间同步是平滑同步,不是跳跃式同步,如果设置得不好的话,很难校验出它同步成功了没,总感觉会缺少几秒钟的感觉。有一种解决方法是  我们这里不用NTP的自动同步,而是使用crond每分钟ntpdate 跳跃式同步一次。这种方法

直到世界的尽头 2万+

超简单的CDH6部署和体验(单机版)

我们总是喜欢瞻仰大厂的大神们,但实际上大神也不过凡人,与菜鸟程序员相比,也就多花了几分心思,如果你再不努力,差距也只会越来越大。面试题多多少少对于你接下来所要做的事肯定有点帮助,但我更希望你能透过面试题去总结自己的不足,以提高自己核心技术竞争力。每一次面试经历都是对你技术的扫盲,面试后的复盘总结效果是极好的!《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取!力,差距也只会越来越大。

m0_72758098的博客 1010

华为ENSP完整安装教程

华为ENSP完整安装教程

Hnm456756的博客 7330

CDH 6.3.2集群安装部署

首先,先说一下Cloudera公司,Cloudera公司提供了一个灵活的、可扩展的、容易集成和方便管理的平台,提供Web浏览器操作,容易上手。 CDH 6.3.2安装部署也也非常容易安装和操作。 本文是基于Centos 7 、MySQL 5.x 和 CDH 6.3.2来安装完成。

Aidon博客 4652

EGO_Planner代码学习(三):px4ctrl代码流程

上节阅读了EGO_Planner的轨迹服务器部分的代码,其实质是将规划器生成的轨迹进行离散化,间隔10ms计算当前时刻在轨迹上的位置,并发送到话题上。这两天抽空看了下控制器部分的代码,在l这个软件包里,它的功能是进行px4的模式识别和上层控制,通过线性控制器把发布过来的位置命令解算成飞控的控制量,通过mavros发送给px4。下面就详细看一下它的启动过程。

qq_41069236的博客 6805

内网穿透-frp二层隧道搭建

环境: weblogic: 192.168.0.133 10.10.20.12 win7 : 10.10.20.7 10.10.10.7go语言、跨平台的 可以分为frpc和frps frpc—>请求----->frps frps:放到黑客公网上 1.需要出网 2.配置: frpc:放到肉鸡上,请求frps 2.端口转发 2.1frpc传到肉鸡(weblogic) 利用工具,传入内存马到weblogic,然后使用冰蝎进行连接 然后在文件管理中上传frpc.exe和frpc.ini文件 fr

yyytaotao的博客 2102

CDH5.6下线Hdfs的DataNode

cdh低版本非dfs_host方式下线datanode。

ith321的博客 2065

WRF和WPS模型在Ubuntu系统上的安装与常见问题解决指南

本文详细介绍了在Ubuntu系统上安装WRF和WPS模型的完整教程,涵盖系统环境配置、依赖库安装、源代码编译以及常见问题的解决方案。重点解决了WPS编译中intmath.f文件的修改、环境变量设置和编译器兼容性等关键难点,帮助用户高效部署气象研究与预报模型。

weixin_29213525的博客 381

CDH环境HDFS权限问题

CDH环境下Hadoop平台最高权限用户是hdfs,属于supergroup组。默认HDFS会开启权限认证,所以操作时,需要将root用户切换到hdfs用户,否则会报错。 目录 设置 验证 如 启动spark-shell 切换hdfs用户 这样每次操作都需要切换不太方便,如yarn在调度时,通常会生成一些临时文件,执行完毕会删除,如果权限不够会导致出错。H...

L, there! 8213

为YOLOv11引入自适应特征融合模块(ASFF)

本文探讨了在YOLOv11中引入ASFF(自适应空间特征融合)模块以解决多尺度目标检测性能不均衡的问题。作者分析了传统FPN固定融合策略的缺陷,详细介绍了ASFF模块的实现原理,包括动态权重生成网络设计和特征融合机制。通过将ASFF集成到YOLOv11颈部网络,实现了特征在双向流动时的自适应融合,在复杂场景下mAP提升1.2%而推理时间仅增加3-5ms。文章还分享了训练调参技巧和部署注意事项,指出ASFF特别适合交通监控等目标尺度变化大的场景,但强调需根据实际需求平衡模型复杂度与性能。最后提供了工程实践建议

as1225120794的博客 320

大聪明教你学Java | Seata 2.5 从下载到运行:全流程编译部署教程

Seata 2.5 版本带来了不少特性优化,但实际部署时却发现一个尴尬问题:全网找不到一篇完整覆盖「Git 源码下载→本地编译→环境配置→启动验证」的实操教程。作为一名踩遍无数坑才成功跑通的开发者,我深知这个过程的煎熬:Git 拉取源码后编译失败、依赖版本冲突、配置文件参数混乱、启动时端口占用或连接报错… 每一个坑都能耗费数小时排查。为了让后续开发者少走弯路,我将自己从0到1的完整实操经验整理成文,跟着步骤走即可成功运行 Seata 2.5.

不肯过江东丶 2071

CDH集群 不良 : 群集中有 1,855 个 副本不足的块 块。群集中共有 1,857 个块。百分比 副本不足的块: 99.89%。 临界阈值:40.00%。

cdh是默认4台节点,1台主节点,3台datanode,但是我们主节点只有namenode。打开cdh配置,按照这4步进行点击。由于是集群所以可以选择一台机器。

前方的路在刚开始 1658

《RT-DETR魔术师》专栏介绍 & 优快云独家改进创新实战 & 专栏目录

通过本专栏的阅读,后续你也可以自己魔改网络,在网络不同位置(Backbone、head、neck、loss等)进行魔改,实现创新!!!

①答疑群聊服务;②YOLO大模型知识问答系统;③计算机视觉论文生成智能体; 7366

CDH集群 HDFS数据存储 更换目录

1.问题梳理: CDH集群中,数据文件位置默认在 /dfs/dn 中,这个目录所属的盘符是 /,但是 ‘/’只有50G大小,还有其他各种文件的日志什么的,空间很紧张。今天启动脚本上传文件到hive,因为空间问题一直报错。查阅了资料,需要将CDH集群 HDFS数据存储 更换目录。 通过命令查看各个盘符 占用情况 df -h 我当时占用100%。必须更换数据目录。 2. 处理 1. 定位思路 先将...

马丘 7494

Python 爬虫实战:爬取去哪儿网酒店评价,提取住宿体验关键词

本文介绍了基于去哪儿网酒店评价数据的爬取与分析方法。首先通过分析网页结构和数据加载机制,定位到评价数据的JSON接口及关键参数。然后使用Python搭建爬虫环境,实现多页评价数据的批量采集与存储,并通过反爬策略确保数据获取的稳定性。在文本分析环节,采用jieba分词和TF-IDF算法提取高频关键词,结合词云可视化展示用户关注点。分析结果显示位置、服务、卫生是核心关注维度,同时识别出好评与差评的关键驱动因素。该方法为酒店服务优化和消费者决策提供了数据支持,并可通过扩展实现更深入的情感分析和竞品对比。

2503_91057718的博客 999

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

CentOS7上CDH6.2搭建

CDH架构 Cloudera Manger 架构 CDH 6.2.0 组件版本 完整参考:https://docs.cloudera.com/documentation/enterprise/6/release-notes/topics/rg_cdh_62_packaging.html#cdh_packaging_60x 演示集群系统软件版本 操作系统:centos 7 64位 CDH:6.2.0 JDK:1.8 虚拟机设置 Step1: 安装虚拟机 建...

wachoo的blog 1278

汉书HE8,好用的汇编代码编写工具

汉书HE8,好用的汇编代码编写工具早期编写汇编代码所用功能强大

上一篇: spark sql 读文件txt,json(未写完)
下一篇: cloudera Hbase 解决org.apache.hadoop.hbase.PleaseHoldException: Master is initializing
Axel_Fr
博客等级 码龄11年 5粉丝 37原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值