kubernetes1.4新特性:增加新的节点健康状况类型DiskPressure

K8S是否存在因DiskPressure驱逐pod,cks老鸟来剖析! 在生产中这些情况是不能忍受的,我们探究一下是什么原因导致的这些,以及如何提前预防并解决相关问题。只有了解这些问题如何产生,才能找到具体解决办法。上面三个默认配置,一个是 kubelet,一个是 docker 的,还有就是相关日志配置的,并且发现。组件完成的,该组件专用于监控容器运行环境,当监控到上面列出的文件系统达到一定量后将会发出。目录下,日志相关文件占用空间非常大,导致 /var 目录挂载的磁盘非常容易被占满。目录下,这个目录占用空间比较大,导致 /var 目录挂载的磁盘非常容易被占满。 阅读详情

背景资料

在Kubernetes架构图中可以看到,节点(Node)是一个由管理节点委托运行任务的worker。 它能运行一个或多个Pods,节点(Node)提供了运行容器环境所需要的所有必要条件,在Kubernetes之前版本中叫做Minion。


相关结构体

通过下面这张图可以看到在Kubernetes中节点(Node)的相关结构体信息:


•       结构体Node:表示Kubernetes中的节点,在节点上面运行POD。

•       结构体NodeSpec:存放节点的属性信息。

1.        属性PodCIDR:表示这个节点上面POD可以使用的IP范围。

2.        属性ExternalID:这是一个已经被放弃使用的属性。

3.        属性ProviderID:当节点是公有云厂商提供的云主机时,这个属性表示公有云系统中对云主机的唯一标识,格式为:<ProviderName>://<ProviderSpecificNodeID>

4.        属性Unschedulable:这是一个布尔型变量,默认是false。如果为true的时候,表示这个节点不能被Kubernetes进行调度,也就是Kubernetes不能在这个节点上创建新的POD,但是不会改变这个节点上已经创建的POD。当要对节点进行维护,那么就可以将这个节点的Unschedulable变量设置成true,然后对节点进行维护操作。可以通过下面命令来修改这个属性:


这里面有一个例外,就是如果使用daemonSet控制器来创建POD的时候,不会关心Unschedulable这个属性是否被设置成了true,这是因为daemonSet控制器认为任何节点上的daemonSet POD都是必须要创建的,同这个属性无关。

•       结构体NodeStatus:存放节点当前状态信息。

1.        属性Capacity:存放节点上所有资源总量

2.        属性Allocatable:存放节点上可以被调度使用的可用资源数量

3.        属性Phase:存放节点当前所处在什么阶段,一共有三个取值,分别是“Pending”、“Running”和“Terminated”,分别表示如下阶段:

1)       Pending:表示节点已经被添加到Kubernetes集群中,但是还没有被Kubernetes进行配置

2)       Running:表示节点已经被Kubernetes配置完成,可以由Kubernetes进行调度使用

3)       Terminated:表示节点已经从Kubernetes集群中被删除掉了

•       结构体NodeCondition:存放节点健康状况。

1.        属性Type:节点健康状况类型,包括Ready、OutOfDisk、MemoryPressure、DiskPressure和NetworkUnavailable,分别表示:

1)       Ready:表示节点是健康的,可以随时在上面创建POD

2)       OutOfDisk:表示这个节点没有空闲的磁盘空间了,已经不能在上面创建POD了

3)       MemoryPressure:表示这个节点上可用内存已经很少了

4)       DiskPressure:表示这个节点上可用磁盘空间已经很少了

5)       NetworkUnavailable:表示这个节点上网络没有被正确配置

2.        属性Status:表示某种类型健康状况的当前状态,目前只有True、False和Unknown,在kubernetes将来版本中还会继续添加新的状态。

1)       True:表示当前类型的健康状况确实存在

2)       False:表示当前类型的健康状况不存在

3)       Unknown:表示kubernetes无法确定当前类型的健康状况是否存在

3.        属性LastHeartbeatTime:表示上一次更新状态的时间

4.        属性LastTransitionTime:表示上一次状态变化的时间

5.        属性Reason:表示上一次状态变化的简单原因

6.        属性Message:表示上一次状态变化的详细原因

•       结构体AttachedVolume:存放挂载到节点上的数据卷信息。

1.        属性Name:挂载到节点上数据卷的名称

2.        属性DevicePath:挂载到节点上数据卷的有效路径

•       结构体NodeStats:存放节点的统计数据。

1.        属性NodeName:表示这个节点名称。

2.        属性SystemContainers:这是一个数组型变量,存放这个节点上所有系统容器的统计信息,这里系统容器指的是以Daemon状态运行的kubelet和docker容器。

3.        属性StartTime:表示开始对节点进行统计的时间。

4.        属性CPU:表示CPU相关的统计数据。

5.        属性Memory:表示内存相关的统计数据

6.        属性Network:表示网络相关的统计数据。

7.        属性Fs:表示Kubernetes模块使用文件系统相关的统计数据。

8.        属性Runtime:表示用户容器运行时的统计数据。

新特性

在Kubernetes1.4中,结构体NodeCondition新增了一个健康状况类型DiskPressure,用来表示这个节点上可用磁盘空间已经很少了。

新增了这个健康状况类型DiskPressure后,在两个方面会提升Kubernetes的使用:

1.        可以在调度POD的时候进行参考,如果节点上确实发生了DiskPressure这件事,那么就会由scheduler模块将POD调度到其他节点上。

2.        可以在控制节点的时候进行参考,如果节点上确实发生了DiskPressure这件事,那么就会由kubelet模块回收这个节点上的所有POD,将这些POD驱逐到其他节点上。

下面介绍kubelet模块在控制节点的时候是如何参考使用DiskPressure的,这就需要更细致的分析结构体NodeStats中的五个属性:

1.        属性CPU:表示CPU相关的统计数据。这个属性对应结构体CPUStats:


其中属性Time表示统计数据更新时间,属性UsageNanoCores表示节点上所有CPU在采样窗口内的使用量,属性UsageCoreNanoSeconds表示节点上所有CPU历史使用总量。

2.        属性Memory:表示内存相关的统计数据。这个属性对应结构体MemoryStats:


其中属性Time表示统计数据更新时间,属性AvailableBytes表示可以使用的内存总量,属性UsageBytes表示已经被分配的内存大小,属性WorkingSetBytes表示已经被使用的内存大小,已经被使用的内存大小<=已经被分配的内存大小,也就是说属性WorkingSetBytes<=UsageBytes,属性RSSBytes表示匿名缓存和swap缓存(包括linux transparent huge pages)大小,属性PageFaults表示次要内存缺页错误数,属性MajorPageFaults表示主要内存缺页错误数。

什么叫错缺页错误:

节点上物理内存是有限,但是应用程序的使用需求是无限的,操作系统为了解决这个矛盾,使用了虚拟内存的设计。简单的描述就是,给应用程序一个与物理内存无关的虚拟地址空间,并提供一套映射机制,将虚拟地址映射到物理内存。当然应用程序是不知道有这个映射机制存在的,他唯一需要做的就是尽情的使用自己的虚拟地址空间。操作系统提供的映射机制是运行时动态进行虚拟地址和物理地址之间的映射的,当一个虚拟地址没有对应的物理内存时候,映射机制就分配物理内存,构建映射表,满足应用程序的需求,这个过程就叫缺页错误。与直接访问物理内存不同,缺页错误过程大部分是由软件完成的,消耗时间比较久,所以是影响性能的一个关键指标。Linux把缺页错误又进一步分为次要缺页错误和主要缺页错误。前面提到的分配物理内存,构建映射表过程可以看做是次要缺页错误。主要缺页错误是由swap机制引入的,对于swap情况,地址映射好了后,还需要从外部存储读取数据,这个过程涉及到IO操作,耗时更久。

3.        属性Network:表示网络相关的统计数据。这个属性对应结构体NetworkStats:


其中属性Time表示统计数据更新时间,属性RxBytes表示接收到的字节数,属性RxErrors表示接收错误数,属性TxBytes表示发送出去的字节数,属性TxErrors表示发送错误数。

4.        属性Fs:表示Kubernetes模块使用文件系统相关的统计数据。这个属性对应结构体FsStats:


在kubernetes1.4中新增加了InodesFree和Inodes这两个属性。其中属性AvailableBytes表示文件系统可以使用的存储空间大小,属性CapacityBytes表示文件系统存储空间总量,属性UsedBytes表示使用文件系统上特定任务所占用的存储空间大小,所以UsedByte并不等于CapacityBytes-AvailableBytes,属性InodesFree表示文件系统上空闲inode数量,属性Inodes表示文件系统上inode总量。

什么是inode:

文件储存在硬盘上,硬盘的最小存储单位叫做"扇区"。每个扇区储存512字节。操作系统读取硬盘的时候,不会一个个扇区地读取,这样效率太低,而是一次性连续读取多个扇区,即一次性读取一个"块"。这种由多个扇区组成的"块",是文件存取的最小单位。"块"的大小,最常见的是4KB,即连续八个扇区组成一个块。文件数据都储存在"块"中,那么很显然,我们还必须找到一个地方储存文件的元信息,比如文件的创建者、文件的创建日期、文件的大小等等。这种储存文件元信息的区域就叫做inode,中文称作"索引节点"。

5.        属性Runtime:表示用户容器运行时的统计数据。这个属性对应结构体RuntimeStats:


其中属性ImageFs对应结构体FsStats,这个属性表示文件系统上容器使用镜像所占用空间的统计数据。对于节点来说可以有两种文件系统,一种是root文件系统,提供给kubelet存放日志、提供数据卷等使用;一种是image文件系统,提供给容器存储镜像、读写操作使用。image文件系统可以就是root文件系统,也可以是单独提供给容器镜像使用的文件系统,默认情况下就是root文件系统。

在Kubernetes1.4之前版本中只有MemoryPressure这个健康状况类型,对应节点上结构体MemoryStats的AvailableBytes属性。在Kubernetes1.4中,结构体NodeCondition新增了一个健康状况类型DiskPressure,其实这个DiskPressure就对应root文件系统和image文件系统。更具体的说,就是对应root文件系统中和image文件系统的AvailableBytes属性和inodesFree属性。

当满足DiskPressure发生的条件时,kubelet模块回收这个节点上的所有POD,将这些POD驱逐到其他节点上。这需要在启动kubelet模块时增加eviction相关的参数,比如

--eviction-hard:表示立即进行POD资源回收,并将POD驱逐到其他空闲节点上

--eviction-soft:表示先观察一段时间,之后进行POD资源回收,并将POD驱逐到其他空闲节点上

--eviction-soft-grace-period:表示观察时长

下面是kubelet模块设置使用DiskPressure的例子:

[html]  view plain  copy
  1. --eviction-hard="nodefs.available<1Gi,nodefs.inodesFree<1,imagefs.available<10Gi,imagefs.inodesFree<10"  


当节点上root文件系统可用空间小于1G或者空闲inode数小于1,或者当节点上image文件系统可用空间小于10G或者空闲inode数小于10,那么就会设置DiskPressure为true,kubelet模块接口会立即回收这个节点上的POD,并将POD驱逐到其他空闲节点上。

[python]  view plain  copy
  1. --eviction-soft="nodefs.available<1.5Gi,nodefs.inodesFree<10,imagefs.available<20Gi,imagefs.inodesFree<100"  
  2.   
  3. --eviction-soft-grace-period="nodefs.available=1m,imagefs.available=2m"  

当节点上root文件系统可用空间小于1.5G或者空闲inode数小于10,并且1分钟后还是这样;或者当image文件系统可用空间小于20G或者空闲inode数小于100,并且2分钟后还是这样,那么就会设置DiskPressure为true,kubelet模块接口会回收这个节点上的POD,并将POD驱逐到其他空闲节点上。

总结

我们可以看到kubernetes正在快速的丰富和完善自身功能,从只有MemoryPressure,到增加了DiskPressure,kubernete给使用者提供了更多方式来处理应用容器化会遇到的问题。我们通过上面结构体的介绍可以发现,还可以继续丰富其他类型的Pressure,比如CPUPress、NetworkPress,这些都需要kubernets社区继续去完善,相信随着kubernetes新版本的发布,功能会变得越来越强大。

Kubernetes节点异常处理实战:从监控发现到自动修复的完整指南 在容器化与云原生架构中,节点作为承载应用负载的基础单元,其稳定性直接关系到整个集群的可用性。节点异常通常源于资源压力、组件故障或网络分区,其核心原理在于Kubelet与Master间的心跳机制及节点状态Condition的实时上报。理解并有效处理节点异常,对于保障服务高可用、优化资源调度、预防雪崩效应具有关键的技术价值。这一能力是SRE和平台工程师在生产环境运维中的核心技能,广泛应用于大规模微服务部署、持续交付流水线及混合云管理等场景。本文聚焦Kubernetes节点异常,系统梳理了从监控告警、根因定位(涉 阅读详情

相关推荐

DiskPressure(磁盘压力)

kubelet监控集群节点的 CPU、内存、磁盘空间和文件系统的inode 等资源,根据kubelet启动参数中的驱逐策略配置,当这些资源中的一个或者多个达到特定的消耗水平,kubelet 可以主动地驱逐节点上一个或者多个pod,以回收资源,降低节点资源压力。

每天都要开心呀(#^.^#) 1676

rancher-Kubernetes节点DiskPressure

解决 Kubernetes 中节点经常性 DiskPressure(磁盘压力) 的问题 文章目录解决 Kubernetes 中节点经常性 DiskPressure(磁盘压力) 的问题一、问题描述二、问题分析① Kubernetes 依靠什么组件对节点磁盘进行监控② Kubelet 监控节点的哪些文件系统③ Kubelet 根据什么指标对 Pod 执行驱逐的④ Kubelet 根据指标达到什么条件才会执行 Pod 驱逐⑤ Kubernetes 触发 DiskPressure 告警时造成的影响⑥ 什么原因导致经

Mr_zzr的博客 4340

kubernetes为系统守护进程预留计算资源

kubernetes的资源预留

rendongxingzhe的博客 1490

【kubernetes】K8S节点状态的维护

kubelet会每隔一段时间(kubelet的–node-status-update-frequency参数,默认为10秒)更新节点状态到apiserverNodeController每隔一段时间(kube-controller-manager的–node-monitor-period参数,默认为5秒)检查一次节点状态。

追寻梦想的青春 1309

Spring Boot Swagger未授权访问漏洞:原理、风险与修复方案详解

在微服务架构中,API文档管理是开发与运维的重要环节。Swagger作为RESTful API文档生成与调试的标准化工具,通过OpenAPI规范自动生成交互式接口文档,极大提升了开发效率。然而,其默认配置往往缺乏访问控制,导致文档端点直接暴露,形成未授权访问漏洞。从技术原理看,该漏洞源于Spring Boot等框架集成Swagger时,相关端点未纳入安全框架的拦截范围,攻击者可通过扫描常见路径获取完整的接口定义与数据结构。这不仅会造成敏感信息泄露,更可能成为越权操作、数据篡改等深度攻击的入口点。在工程实践中

weixin_42524171的博客 505

Altera Quartus II FPGA固件烧录全攻略:从SOF到JIC的完整流程(附EPCQ128配置技巧)

本文详细介绍了使用Altera Quartus II工具链将FPGA固件从SOF文件转换为JIC文件并烧录到EPCQ128 Flash芯片的完整流程。内容涵盖环境配置、文件转换步骤、EPCQ128专用配置技巧以及常见问题解决方案,帮助工程师实现FPGA固件的flash固化,确保设计可靠运行。

weixin_30275415的博客 209

《Kubernetes故障篇:Kubernetes Node节点DiskPressure异常处理》

系列文章目录 提示:这里可以添加系列文章的所有文章的目录,目录需要自己手动添加 例如:第一章 Python 机器学习入门之pandas的使用 提示:写完文章后,目录可以自动生成,如何生成可参考右边的帮助文档 文章目录系列文章目录前言一、pandas是什么?二、使用步骤1.引入库2.读入数据总结 前言 提示:这里可以添加本文要记录的大概内容: 例如:随着人工智能的不断发展,机器学习这门技术也越来越重要,很多人都开启了学习机器学习,本文就介绍了机器学习的基础内容。 提示:以下是本篇文章正文内容,下面案例

东城绝神 4036

检索增强世界模型(R-WoM)原理与应用实践

世界模型是AI系统理解环境的核心技术,通过构建环境的内部表示实现状态预测和行动规划。传统方法基于RNN或VAE等神经网络,而检索增强世界模型(R-WoM)创新性地引入检索机制,结合外部记忆库提升系统性能。这种架构突破模型参数限制,使AI能像人类一样利用历史经验解决问题,在游戏AI、虚拟助手等场景表现优异。关键技术包括FAISS相似性搜索、分层记忆管理和动态检索策略,其中Transformer编码器和GRU动态模型的组合实现高效环境建模。实践表明,该方法可提升47%的战术多样性,加快32%的应急响应速度。

weixin_42676876的博客 341

k8s调度容器失败The node had condition: [DiskPressure]

Kubernetes调度异常导致大量Pod创建失败的故障分析及解决方案。故障表现为节点临时存储(DiskPressure)不足,具体原因是某容器未声明临时存储请求(request=0),实际却占用了27.3GiB空间(日志和临时文件堆积在/tmp目录)。kubelet尝试回收空间失败,导致级联创建上百个失败Pod。 解决方案分三步: 应急处理:缩容至0再扩容,删除Failed状态的Pod 根本修复:在Deployment中明确定义临时存储请求(建议5Gi)和限制(10Gi) 长期优化:程序增加日志清理机制,

欢醉 233

USRP X410 MPM版本与主机UHD版本不匹配问题记录与解决

至此大功告成!之前安装软件的坑算是填起来了,再次记录一下,希望能帮到有同样问题的小伙伴~

yanzuwu233的博客 1437

rk3568 修改开机动画

bootanimation.zip是一个Android设备启动时播放的动画文件,它包含了一系列的图片和描述文件,用于描述动画的播放顺序和持续时间。

weixin_35723192的博客 2730

K8S服务突然中断无法访问:报The node had condition: [DiskPressure]异常

程序在运行过程中,突然无法访问,发现后台接口也无法访问;继续查看磁盘使用率,发现系统盘使用率已经高达93%。问题前后呼应找到问题所在。

一掬净土 1821

使用python中pypower进行电力潮流计算

使用python中pypower进行电力潮流计算

总裁余(余登武)博客 4864

k8s The node had condition:[DiskPressure]

在查看pod运行状态时,发现有的pod的状态是Evicted,通过describe去查看发现了的报错原因是kubelet检测到本地磁盘使用率超过了85%,这是kubelet方法只有两种,要么清理磁盘或者磁盘扩容,要么就是修改 kubelet 的配置。

牛奔的博客 571

铁路场景雷达点云目标识别与追踪系统

本文介绍了一种基于毫米波雷达的铁路货运车站安全监控系统。该系统采用分布式架构,通过多个毫米波雷达节点采集点云数据,经过坐标转换、多雷达融合等处理后,利用机器学习算法实现列车、行人等目标的实时识别与追踪。系统包含数据采集层、处理层、目标识别层、追踪层、预警决策层和可视化层,能够克服传统视频监控受环境影响大的缺点,实现全天候可靠监测。文中详细展示了雷达数据解析和点云预处理的代码实现,包括坐标转换、数据格式解析和体素网格滤波等关键技术。该系统可有效预警铁路场景下的碰撞风险,提升货运车站的安全管理水平。

huanghm88的专栏 126

点云焊缝提取

本文介绍了一个基于PCL库的点云处理流程,包含三个核心模块:MLS平滑处理通过多项式拟合修正点云位置;差异提取通过双向匹配定位源/目标点云的非重叠区域;统计过滤剔除离群噪声点。该流程采用"平滑-筛选-净化"的通用思路,将复杂算法封装为可配置接口,实现了工业级点云预处理。文章重点分析了各模块的原理、PCL接口调用及参数设计逻辑,同时指出参数调优、算法扩展等深入探索方向,展现了PCL在点云处理中的模块化优势与实用价值。

weixin_45196569的博客 252

记K8s Pod The node was low on resource: [DiskPressure]. 问题排查

记K8s Pod The node was low on resource: [DiskPressure]. 问题排查 文章目录记K8s Pod The node was low on resource: [DiskPressure]. 问题排查报错Pod The node was low on resource: [DiskPressure]的原因真正的原因新的问题 报错Pod The node was low on resource: [DiskPressure]的原因 使用kubectl desc

HONGcheng930728的博客 4935

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

您需要监控的 12 个关键 Kubernetes 健康状况

目录您需要监控的 12 个关键 Kubernetes 健康状况Crash Loops(崩溃循环)CPU Utilization(CPU 使用率)Disk Pressure(磁盘压力)Memory Pressure(内存压力)PID Pressure(PID压力)Network Unavailable(网络不可用)Job Failures(作业失败)Persistent Volume Failures(持久卷故障)Pod Pending Delays(Pod 等待延迟)Deployment Glitches(

Just so-so 365

IDEA的使用指南

IDEA基于java的使用手册,可以最快速的上手,在使用中不断的丰富自己的使用技巧.

贝叶斯统计 [韦来生编]

贝叶斯(Bayes)统计是近几十年来迅速发展起来的数理统计的一个重要分支。贝叶斯方法与经典统计方法的主要不同之处是进行统计推断时除了利用样本信息外,还要利用参数的先验信息,因此可以提高统计推断或统计决策的效果。它在经济、金融、生物、医学、自然科学和社会科学等许多领域具有广泛的应用。贝叶斯方法的研究已渗透到了统计学的几乎所有领域。作者在给中国科学技术大学概率论与数理统计专业本科生开设的“数理统计”课程中有一章专门讲授“贝叶斯方法和统计决策理论”,近十年来也给中国科学技术大学概率统计专业研究生开设过几次“贝叶斯分析”课。本书是在对过去讲稿的内容作了适当的增减和调整的基础上完成的。  本书共分六章。第1章是绪论,介绍了贝叶斯统计的若干基本概念,同时对必要的数理统计的基础知识有重点地作了回顾。第二章介绍了确定先验分布的若干可供选择的方法。第三章介绍了几类常见统计模型参数的后验分布的主要结果和计算方法。第四章和第五章分别介绍了“贝叶斯统计推断”和“贝叶斯统计决策”的内容。第六章介绍了贝叶斯统计计算的若干方法,包括蒙特卡洛方法和马尔可夫链蒙特卡洛(MCMC)方法以及相关统计软件的简介。本书的每一章附右大量的例题和习题,书末附有常用的几个表格和部分习题解答供读者查用。  大约可在54学时内讲授本书的第1章至第六章的主要内容,教师可根据学时需要选讲本书第1章至第六章的部分内容。书中标“*”号的章节可略去不讲,留给读者作为阅读材料。第六章例题中的R代码和部分例题的数据文件等可从作者个人主页下载。  作者在编写本书的过程中参考了J.O.Berger教授的《统计决策论及贝叶斯分析》和茆诗松教授编写的《贝叶斯统计》等书中的一些内容,以及《贝叶斯分析》一书中由张伟平博士编写的有关贝叶斯统计计算的一些内容。在此表示衷心感谢。  本书编写准备过程中,中国科学技术大学统计与金融系的几个研究生帮助完成了本书部分中文的录入和排版,作者对他们的辛勤工作表示真诚的感谢。高等教育出版社为本书的出版给予了大力支持。在此一并致谢。

Kubernetes 节点压力驱逐:Pod 被赶走前有很多信号

Kubernetes 节点压力驱逐有明确机制,不是玄学。排查要从节点条件、事件、QoS、资源请求和磁盘使用入手。Pod 被赶走前通常已经有信号,关键是监控和排障流程要先看对地方。

2609_95049439的博客 3437

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

Linux随记(十八)【k8s磁盘驱逐,podsecuritypolicy,PSP】

【代码】Linux随记(十八)

Nightwish5的博客 2035

K8S DiskPressure造成pod被驱逐——筑梦之路

现象以及排查过程:k8s集群某个节点上的pod状态为Evicted使用命令kubectl delete pod xxx 重启该pod,无日志输出,状态不变使用命令kubectl get node,该节点是ready状态使用命令kubectl describe pod xxx ,没有明显的报错信息使用命令kubectl describe node xx ,最后出现有DiskPressure的关键字ssh登录该节点,查看磁盘空间,使用率98%到此,定位到问题是磁盘空间不足造成pod被驱逐。

筑梦之路 2090

Kubernetes 节点压力排查:Pod Pending 不一定是资源真的不够

Kubernetes Pod Pending 不一定是资源真的不够。排查时先看事件,再看 request、配额、亲和性、污点容忍和 PVC。扩容是手段,不是诊断。调度原因看清楚,再决定要不要加节点。Pending 排查越熟练,越能避免无效扩容。Kubernetes 的很多问题,答案已经写在事件里,只是我们太急着跳到结论。生产里还要把 Pending 按原因聚合。单个 Pod Pending 是局部问题,大量 Pod 因同一个原因 Pending,就是平台问题。

qwe0iop0的博客 6657

Kubernetes Pod 驱逐风暴:从 OOM 到节点压力的排障全链路

Kubernetes Pod 驱逐是节点资源保护的核心机制,但缺乏全局视角的驱逐配置往往会制造更大的故障。生产环境中,防御驱逐风暴需要从三个层面同时着手:第一,通过 ResourceQuota 和 LimitRange 从源头约束资源分配,杜绝 BestEffort Pod;第二,精心配置 kubelet 的软硬驱逐阈值,在保护节点和保障可用性之间找到平衡点;第三,部署 PDB 和驱逐监控,在风暴形成前预警并阻断级联效应。

qwe0iop0的博客 4355

Kubernetes v1.35 新特性:Extended Toleration Operators 详解

Kubernetes v1.35扩展了toleration机制,新增了对节点状态条件的支持,如网络可用性、GPU状态和资源压力等,使Pod调度更加灵活精细。通过配置operator和value字段,用户可以精确控制Pod调度策略,减少对自定义调度器的依赖。实战案例展示了如何基于网络状态、GPU可用性和资源压力进行调度控制,并提供了验证方法。相比传统方案,该特性显著提升了调度灵活性,适合需要精细控制调度的生产环境,但需熟悉新API。总体而言,v1.35的toleration扩展是复杂调度场景下的优选方案。

kguogao的博客 383
上一篇: 越来越稳!Kubernetes 1.8.0 版本发布
下一篇: kubernetes1.4新特性:支持sysctl命令
hxpjava1
博客等级 码龄19年 1365粉丝 511原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值