存储rook挂掉问题解决

Rook Ceph浅谈 storageclass是最省心的,上面三种删除了容器存储还在 下图是管理员定义pv,用户不知道这些细节 PersistentVolume pv会跟后端的存储rbd对接 用户通过PVC调用PV ,根据10G容量去pv里找相匹配的自动关联 上图就叫 pvc-demo 管理员定义好下面 用户pvc是向storgeclass 申请多少容量,就会调用storgeclass的驱动创造pv出来,这个pv和后端存储对接 这样我们就可以在容器中调用这个pvc 动态创建就是在statefulset里面直接模板的形 阅读详情

issue

https://github.com/rook/rook/issues/4203

问题原因:

[root@dev3 ~]# kubectl get svc -n rook
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
rook-ceph-mgr ClusterIP 10.1.214.28 <none> 9283/TCP 41d
rook-ceph-mon0 ClusterIP 10.1.86.127 <none> 6790/TCP 41d
rook-ceph-mon3 ClusterIP 10.1.110.86 <none> 6790/TCP 39d
rook-ceph-mon8 ClusterIP 10.1.188.173 <none> 6790/TCP 4d7h
rook-ceph-mon9 ClusterIP 10.1.41.184 <none> 6790/TCP 25h

 

rook-ceph-mon3没有对应的pod

 

解决方法:

创建rook-ceph-mon3-wnf44 pod

创建方法,

1先导出0的replicaset

kubectl get replicaset rook-ceph-mon0 -n rook -o yaml > mon.yaml

2修改mon.yaml,删除状态数据,修改ip

3kubectl create -f mon.yaml -n rook

7 张图解 CrashLoopBackOff,如何发现问题并解决它? 是一种 Kubernetes 状态,表示 Pod 中发生的重启循环:Pod 中的容器已启动,但一遍又一遍的崩溃然后又重新启动。Kubernetes 将在重新启动之间等待越来越长的BackOff时间,以便您有机会修复错误。因此,CrashLoopBackOff 本身并不是一个错误,而是表明发生了一个错误,导致 Pod 无法正常启动。Pod 在 Running、Failed 和 Waiting 之间循环请注意,它重新启动的原因是因为它设置为Always(默认情况下)或OnFailure。... 阅读详情

相关推荐

生产级机器学习服务:从模型部署到高可用运维实战

机器学习模型部署不是简单封装predict函数,而是构建具备可观测性、弹性伸缩与故障自愈能力的生产级服务。其核心在于突破Jupyter到生产环境的范式断层,解决资源隔离、动态批处理、模型版本治理、特征实时供给等关键工程问题。以Triton推理服务器和Feast特征服务为代表的云原生AI基础设施,通过标准化接口、GPU原生调度与上下文感知执行,显著提升吞吐与稳定性。在金融风控、电商推荐等低延迟高可靠场景中,该架构支撑日均千万级请求,P99延迟稳定在200ms内,并实现秒级灰度发布与自动降级。本文聚焦真实世界中

weixin_30420305的博客 362

生产环境rook-ceph集群由于故障不能恢复

一、故障说明 二、处理过程 一、故障说明 监控环境环境:k8s高可用集群+ceph+promethues+mysql主从复制读写分离+grafana 原因:由于物理服务器硬盘给ceph分的是动态占用(即用多少占用物理服务器多少),但是由于每台分配200G,集群又同属于一台服务器上,此服务器有其它生产环境,最终导致磁盘空间只有9M,监控服务出现故障,不能远程访问。 二、处理过程 1、手动重启服务k8s服务器集群 2、发现集群节点node1和node2节点NotReady 3、重新加入n..

贾文超的博客 1728

etcd与Consul实战:服务发现与配置中心生产部署指南

服务发现和分布式配置中心是云原生架构的核心基础设施,解决微服务动态寻址与配置集中治理两大关键问题。其底层原理依赖强一致性或最终一致性的分布式键值存储,通过自动注册、健康检查、实时发现与安全注销形成闭环。技术价值在于支撑Kubernetes调度、Istio流量治理、Spring Cloud配置热更新等高可用场景。典型应用包括容器化环境下的服务自动感知、多环境配置灰度发布、敏感信息加密管理及故障自愈。本文聚焦etcd(Raft强一致)与Consul(全栈开箱即用)的选型逻辑、TLS安全加固、三节点高可用部署及线

weixin_30896511的博客 504

k8s的namespace(rook-ceph)处于Terminating状态

记录一次k8s namespace 处于Terminating状态的处理方法 问题背景 使用k8s部署rook-ceph后,想要删除集群重新部署的,结果方法不对,导致rook-ceph命名空间状态一直处于Terminating,使用kubectl get all -n rook-ceph命令显示已经没有资源,但仍无法删除。 尝试过的方法 1.删除时带上–force --grace-period=0参数 ,无法删除; kubectl delete namespace rook-ceph -..

叼不起的烟斗的博客 1577

从Notebook到生产环境:机器学习模型的工程化落地实战

机器学习模型部署不是简单启动API,而是涉及模型打包、服务韧性、特征一致性与可观测性的系统工程。其核心原理在于将‘可运行’升级为‘可运维’,通过分层架构(模型层、服务层、数据层、观测层)解耦风险,保障线上稳定性与业务连续性。技术价值体现在降低模型衰减率、缩短故障定位时间、支撑高并发低延迟推理;典型应用场景包括金融风控、电商推荐、实时反欺诈等需7×24小时稳定服务的业务系统。本文聚焦ONNX标准化、Triton服务部署、Prometheus监控与特征漂移检测等真实产线关键实践。

weixin_30385925的博客 342

由于物理机异常宕机引起osd启动故障,引发ceph集群故障的修复

某日凌晨,发现一个存储集群的4台存储节点(20个osd)宕机 发现是dell的四胞胎,初步排查是由于单个电源模块故障导致, 该机器存在的问题: 1:电源模块有故障 2:所有的盘做了单盘raid0的模式 3:机器已过保 4:raid卡电池推测已耗尽 5:使用了raid 缓存 异常宕机后导致的问题: 1:存在硬盘损坏 2:断电瞬间的缓存数据未写入磁盘 3:部分节点无法正常启动 4:部分osd节点无法自启 集群存储的问题 由于该集群为2副本,存储节点宕机比较多,宕机导...

2191

Kubernetes 集群基于 Rook 搭建 Ceph 分布式存储系统

Rook 是专用于 Cloud-Native 环境的文件、块、对象存储服务。它实现了一个自动管理的、自动扩容的、自动修复的分布式存储服务。Rook 支持自动部署、启动、配置、分配、扩容/缩容、升级、迁移、灾难恢复、监控以及资源管理,Rook 目前支持 Ceph、NFS、Minio Object Store、Edegefs、Cassandra、CockroachDB 存储的搭建,后期会支持更多存储方案。本文将在 Kubernetes 基于 Rook 搭建 Ceph 分布式存储系统

哎_小羊的博客 9340

Kubernetes云原生实战06 使用Rook搭建Ceph集群

使用Rook搭建Ceph集群

飘渺Jam的博客 3807

K8S生产集群实战:从架构设计到运维体系的完整指南

容器编排是现代云原生架构的核心技术,它通过自动化应用的部署、扩展和管理,解决了微服务架构下的运维复杂性难题。其原理基于声明式API和控制器模式,将应用的生命周期管理抽象为可编程的资源对象。这一技术为分布式系统带来了弹性伸缩、高可用和资源高效利用的核心价值,广泛应用于互联网、金融和传统企业的数字化转型场景。在具体实践中,Kubernetes作为主流容器编排平台,其生产环境落地涉及网络、存储、安全等关键组件的深度整合。本文以Calico BGP网络和Rook Ceph存储方案为例,深入解析了高可用集群的构建、安

cuanji3287的博客 434

DRV8870电机驱动芯片原理与嵌入式多平台驱动开发

H桥电机驱动芯片是直流电机控制的核心硬件模块,其通过双MOSFET拓扑实现方向与速度的精确调控。工作原理基于电荷泵自举驱动、集成电流检测及多重硬件保护机制,技术价值体现在高集成度、宽压适配(4.5V–45V)与强鲁棒性。典型应用场景涵盖智能机器人执行器、工业自动化设备及电池供电移动终端。本文围绕DRV8870这一主流驱动芯片,深入解析其PH/EN与Dual PWM双控制模式、nFAULT故障响应机制,并结合Arduino/ESP32/STM32三大平台,提供可复用的跨MCU驱动库设计范式与FreeRTOS实

weixin_32251525的博客 658

海思ISP调优实战:从实验室到真实场景的IPC相机图像质量优化指南

本文深入探讨海思ISP调优在IPC相机图像质量优化中的实战应用,从实验室标定到真实场景部署的全链路调优方法。重点解决光照动态范围、色温变化和噪声特性等核心问题,提供AE权重表配置、CCM标定、3DNR时域滤波等关键技术方案,帮助实现从理论到实践的图像质量提升。

s3t4u的博客 751

我把 JuiceFS 替换 CephFS 做 K8s 共享存储后,Pod 启动从 47s 压到 3s

多机训练(PyTorch DDP + NCCL checkpoint 中转)数据集缓存(百 GB 级别的 ImageNet 类预读目录)Jupyter / VSCode Web 工作区(多用户同时挂载自己的 home)最早我们用的是自建的 Rook + CephFS,三个 mon + 三个 mgr + 六个 osd 节点。挂载延迟高:CSI driver 每次都要去 mon 拉一遍 caps,平均 40-50ms;走 ceph-fuse 的路径,元数据操作一多就直接卡。冷启动慢。

聚焦学生开发者需求,分享课设毕设项目实战经验、系统开发技巧、数据库设计规范及文档排版实用方法。 317

几款常见存储系统的对比分析

如何对比选择存储系统?本文给你答案!本文将详细对比NetApp、Lsilon、Vast Data、DDN lustre和WekaFS的五个存储系统的简单性、速度、规模及标准。

hongcloudtech的博客 1679

超越“上云”:云原生的核心特质与CNCF生态全景 (理念筑基篇 2)

特质1:容器化封装(Containerization) - 交付的革命fill:#333;color:#333;color:#333;fill:none;一次构建到处运行无需适配源代码Dockerfile标准镜像开发环境测试环境生产环境消灭“在我机器上是好的”悖论镜像哈希值 = 不可篡改的交付物(版本溯源)启动速度从分钟级 →秒级docker runvs VM启动)特质2:微服务架构(Microservices) - 组织的解耦- 单体架构: 一个代码库 = 一个部署包 = 一个进程。

✨ 欢迎来唠嗑、切磋、一起成长!👋 1083

MSDN Win10镜像缺少驱动?这里有全面解决方案

针对MSDN Win10镜像缺少驱动的问题,本文提供了四种解决方案:厂商官网下载驱动程序、利用Windows更新获取驱动、使用第三方驱动更新工具以及使用集成驱动的Win10系统镜像。每种方案都有其优缺点,用户可以根据自己的需求和实际情况选择合适的方案。建议优先考虑官方渠道:官方渠道下载的驱动程序稳定可靠,是解决问题的首选方案。谨慎选择第三方工具:使用第三方工具时,务必选择信誉好、无广告捆绑的工具,并注意保护个人隐私和计算机安全。备份重要数据:在进行系统安装或更新前,务必备份重要数据以防丢失。

nntxthml的博客 1538

微信小程序 - 最新详细实现“全局实时监听页面发生跳转“ 当页面跳转后立即捕捉并触发某个操作或调用处理函数,小程序整个项目无时无刻只要路由发生变化改变了就能监听,时刻检测页面URL变化(获取路由数据)

微信小程序,vue2,vue3,监听路由,如何监听路由发生变化,如何watch监听路由,怎么全局监听页面发生变化,实现当页面路由发生变化时执行一个函数,当路由变化时执行一些操作执行一段代码,怎么监听路由变化时触发一个函数,监听页面变化,页面间的跳转如何监听,页面跳转时怎么拿到路由及参数,页面路由变化时拿到参数和url,使用watch监听路由变化,页面跳转后怎么触发事件,怎么监听页面跳转,监听页面跳转并拿到路由url路径,小程序怎么全局定义一个专门监听路由的函数,小程序怎么无时无刻实时监听路由页面跳转,监听当

🏆 前端领域优质创作者 4478

【Kubernetes从入门到精通】第04篇:云原生是什么鬼——CNCF技术版图漫游指南

摘要 本文是一篇关于云原生技术的科普文章。作者首先澄清了云原生的概念,指出云原生不是简单将应用迁移到云端,而是一套工程方法论,核心在于标准化、自动化和弹性化。文章介绍了CNCF(云原生计算基金会)维护的庞大技术版图,包含200多个项目,并形象地将它们划分为不同"城区":编排调度(如Kubernetes)、服务网格(如Istio)、可观测性(如Prometheus)等。作者强调云原生不仅是技术堆叠,更是运维理念的变革——从"养宠物"到"养牛羊"的思维转变。最后指出,掌握8-10个核心项目就足以构建完整的云原生

xyghehehehe的专栏 305

YOLOv11改进 | 检测头篇 | 利用AFPN辅助YOLOv11检测头进行特征融合识别(全网独家创新)

本文给大家带来的最新改进机制是利用AFPN(渐近特征金字塔网络)来优化检测头,AFPN的核心思想是通过引入一种渐近的特征融合策略,将底层、高层和顶层的特征逐渐整合到目标检测过程中。这种渐近融合方式有助于减小不同层次特征之间的语义差距,提高特征融合效果,使得检测模型能更好地适应不同层次的语义信息。本文在AFPN的结构基础上,为了适配YOLOv11改进AFPN结构,同时将AFPN融合到YOLOv11中(因为AFPN需要四个检测头,我们只有三个,下一篇文章我会出YOLOv11适配AFPN增加小目标检测头)

Snu77的博客 3751

ceph分布式存储-单个Ceph节点宕机处理

5. 单个Ceph节点宕机处理 在某些情况下,如服务器硬件故障,造成单台 Ceph 节点宕机无法启动,可以按照本节所示流程将该节点上的 OSD 移除集群,从而达到 Ceph 集群的恢复。 5.1 单台 Ceph 节点宕机处理步骤 登陆 ceph monitor 节点,查询 ceph 状态: ceph health detail 将故障节点上的所有...

weixin_44389885的博客 1958

基于LED可见光通信的物联网系统设计_344

随着物联网技术的不断发展,传统无线通信在工业环境中面临电磁干扰强、通信质量不稳定等问题。为此,本文设计了一种基于LED可见光通信的物联网系统,实现工厂车间内设备状态的稳定、高效、低干扰数据传输。系统主要由设备节点、设备主机、华为云物联网服务器以及可视化上位机构成。 设备节点采集机器的出货量、运行状态、机身温度等关键信息,通过调制后的LED可见光信号发送至设备主机。主机利用红外接收器接收光信号后进行解调处理,并通过WIFI模块将数据上传至华为云IOT服务器。

347

SGP4/SDP4详解

**SGP4** (Simplified General Perturbations Version 4) 和 **SDP4** (Simplified Deep-space Perturbations Version 4) 是一组**解析轨道预报模型**,用于预测地球轨道卫星的位置和速度。它们是北美防空司令部(NORAD)维护的**TLE**数据格式的标准配套算法。 简单来说:**TLE是卫星轨道的"身份证",而SGP4/SDP4是解读这张身份证的"说明书"**。

ScilogyHunter的博客 592

rook下osd的移除与加回

rook移除osd 一、查找对应的osd和磁盘关系 1、ceph -s查看报错发现因磁盘坏道 2、osd.5故障 3、找到osd.5对应pod所在节点 4、kubectl get po -n rook-ceph rook-ceph-osd-5-5f8f8bcd7f-wpzb4 -o yaml |grep UUID

fancy106的博客 4376

efm32 入门.pdf

本PDF共计22页,介绍的是操作驱动API,下载与否自己斟酌。

【kubernetes/k8s概念】k8s 坑问题汇总

1.Pod始终处于Pending状态 如果Pod保持在Pending的状态,意味着无法被正常的调度到节点上。由于某种系统资源无法满足Pod运行的需求 系统没有足够的资源:已经用尽了集群中所有的CPU或内存资源。需要清理一些不在需要的Pod,调整它们所需的资源量,或者向集群中增加新的节点。 用户指定了hostPort:通过hostPort用户能够将服务暴露到指定的主机端口上,会限......

zhonglinzhang 3万+

Devexpress16.2.6破解工具

Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具

锂电池充电器电路设计 里面有电路

锂电池充电器电路设计 里面有电路 3.7V升压到5V电路设计。

pvc一直处于pending状态

pvc一直处于pending状态

柠是柠檬的檬的博客 4981

蓝牙模块HM-10手册

蓝牙模块HM-10手册,该手册对蓝牙模块HM-10进行了详细的介绍和使用方法以及一些AT指令。

Kubernetes部署云原生分布式存储Rook

rook简介 Rook官网:https://rook.io 容器的持久化存储 容器的持久化存储是保存容器存储状态的重要手段,存储插件会在容器里挂载一个基于网络或者其他机制的远程数据卷,使得在容器里创建的文件,实际上是保存在远程存储服务器上,或者以分布式的方式保存在多个节点上,而与当前宿主机没有任何绑定关系。这样,无论你在其他哪个宿主机上启动新的容器,都可以请求挂载指定的持久化存储卷,从而访问到数据...

IT 3万+

Rook使用简介

Rook使用简介(Ceph) 1、简介 Rook是一个自管理的分布式存储编排系统,可以为Kubernetes提供便利的存储解决方案。Rook本身并不提供存储,而是在kubernetes和存储系统之间提供适配层,简化存储系统的部署与维护工作。目前,rook支持的存储系统包括:Ceph、CockroachDB、Cassandra、EdgeFS、Minio、NFS,其中Ceph为Stable状态,其余均...

迷途的攻城狮 2万+
上一篇: k8s测试环境部署round2
下一篇: minikube部署k8s
hxpjava1
博客等级 码龄19年 1365粉丝 511原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

hxpjava1

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值