Kubelet垃圾回收--更改硬盘使用回收策略

最新推荐文章于 2025-06-03 20:41:33 发布
原创 最新推荐文章于 2025-06-03 20:41:33 发布 · 581 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

作者遇到node节点的proxy组件状态为ImagePullBackOff问题，经探索发现是硬盘使用达85%时，kubelet删除长时间不用的pod及镜像所致，释放空间到80%以下会停止驱逐。作者提出将硬盘使用阀值调大，最终应结合pod优先级及抢占式解决，待测试后补更。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Kubelet垃圾回收官网地址：https://kubernetes.io/docs/concepts/cluster-administration/kubelet-garbage-collection/

首先我碰到的问题是node节点的proxy组件状态为ImagePullBackOff，What？我镜像哪去了？Proxy组件挂掉之后导致调度到该节点的pod全部都不能用！！！赶紧将镜像load进来先恢复服务，在排查问题…

经过探索得知当硬盘使用达到85%,kubelet就会删除该节点上长时间不用的pod及镜像,kube-proxy是安装集群是就已经安装好的,结果不言而喻，而释放空间的百分比只要到了80%以下,kubelet就会停止驱逐操作…这也是为啥我登录到服务器之后看到的空间还有很多的原因。

我的解决方法是将硬盘使用的阀值调大:

编辑：
vim /etc/systemd/system/kubelet.service.d/10-kubelet.conf
并在ExecStart后添加:--eviction-hard=nodefs.available<5%

最终的解决方法因该是调大硬盘使用的阀值并结合pod优先级及抢占式来解决垃圾回收问题,但是我这里没有测试pod优先级,所以就先说这么多,等测试完成之后在补更。

kubelet---关于垃圾镜像/容器回收策略
weixin_43273856的博客
06-15 604
kubelet---关于垃圾镜像/容器回收策略
3-2-22、k8s存储-持久卷详解
最新发布
xuebo1129927648的博客
07-03 25
PersistentVolume（PV）是 Kubernetes 中对底层存储的抽象，它将存储资源与 Pod 解耦，使应用无需关心底层存储的具体实现。
kubelet垃圾回收配置
山不转的博客
07-09 2394
kubelet垃圾回收主要指定期清理不使用的image以及container，以便节约存储空间。kubelet将人每隔一分钟清楚掉无效的container，每隔五分钟清理掉不使用的container。不推荐使用外部的垃圾回收工具，因为这些工具有潜在的风险清掉掉仍然在使用的container。image回收在cadvisor的协助下，kubernetes通过imageManager管理所有image...
Linux随记（十八）
Nightwish5的博客
06-03 1740
【代码】Linux随记（十八）
配置Kubelet的垃圾回收(K8S镜像回收)
u010674101的专栏
05-25 2627
Kubelet的垃圾回收功能可以清理不再使用的容器和镜像，kubelet对容器进行垃圾回收的频率是每分钟一次，对镜像进行垃圾回收的频率是每五分钟一次。不推荐使用外部的垃圾回收工具，因为这些工具有可能会删除 kubelet 仍然需要的容器或者镜像。
Kubelet 垃圾回收
shida's blog
08-19 2151
Kubelet 垃圾回收（Garbage Collection）是一个非常有用的功能，它负责自动清理节点上的无用镜像和容器。Kubelet 每隔 1 分钟进行一次容器清理，每隔 5 分钟进行一次镜像清理（截止到 v1.15 版本，垃圾回收间隔时间还都是在源码中固化的，不可自定义配置）。如果节点上已经运行了 Kubelet，不建议再额外运行其它的垃圾回收工具，因为这些工具可能错误地清理掉 Kubel...
kubelet 垃圾回收机制分析-容器垃圾回收机制
纵横四海的博客
08-21 1243
本博客分析的kubernetes的源码是v1.11.0 kubelet执行StartGarbageCollection的时序图 通过时序图，就可以看得出启动GC功能的步骤了 具体实现的逻辑代码 k8s.io/kubernetes/pkg/kubelet/kubelet.go // StartGarbageCollection starts garbage collection thre...
kubernetes kubelet 垃圾回收机制
爱死亡机器人
08-15 620
结点上运行的docker设置的参数--graph指向/opt磁盘，通过df -lh查看目前/opt磁盘使用率为48%，启动kubelet此时查看/opt磁盘使用率达到了51%，然后将使用镜像的pod删除，手工将对应的容器docker rm掉，等待GC的镜像回收时间点。然而五分钟过去了，十分钟过去了，docker images时centos镜像依旧顽固地坚守在阵地。.........
kubelet 原理解析六： 垃圾回收
weixin_47143210的博客
05-24 254
概述 在k8s中节点会通过docker pull机制获取外部的镜像，那么什么时候清除镜像呢？k8s运行的容器又是什么时候清除呢? api-server: 运行在master，无状态组件，go自动内存垃圾回收 controller-manager: 运行在master,无状态组件，go自动内存垃圾回收，owner机制提供resource垃圾回收 scheduler: 运行在master，无状态组件，go自动内存垃圾回收 kube-proxy:运行在node，无状态组件，无垃圾收集需要 kubelet:运行在
kubelet参数解释about kubelet gc image and evict pod.
process的博客
11-12 1891
???? something about kubelet gc image and evict pod. 1. imagefs删除镜像的规则 1.1 官网介绍 1.1.1 参数介绍 imageMinimumGCAge meta/v1.Duration imageMinimumGCAge is the minimum age for an unused image before it is garbage collected. Dynamic Kubelet Config (beta): If dynam
K8S上安装LongHorn(分布式块存储) --use
justlpf的专栏
08-14 1775
Each node in the Kubernetes cluster where Longhorn is installed must fulfill the following requirements:The Longhorn workloads must be able to run as root in order for Longhorn to be deployed and operated properly. 创建命名空间 安装 open-iscsi(可选) 安装 NFS
自用 K8S 资源对象清单 YAML 配置模板手册-1
云端梦留白的博客
08-07 1412
自用 K8S 资源对象清单 YAML 配置模板手册-1。
k8s笔记（7）-- 存储卷
xl_2016的博客
12-05 687
仅介绍一些简单的存储卷：emptyDir，hostpath，nfs， pvc、pv，configmap和secret。分布式存储卷或云存储不做介绍。
kubelet垃圾回收机制
fengcai_ke的博客
12-13 800
kubelet垃圾回收机制源码分析
【博客604】kubelet中的容器与镜像的垃圾回收机制
qq_43684922的博客
02-02 1198
kl.containerGC.GarbageCollect 调用的是 ContainerGC manager 中的方法，ContainerGC 是在 NewMainKubelet 中初始化的，ContainerGC 在初始化时需要指定一个 runtime，该 runtime 即 ContainerRuntime，在 kubelet 中即 kubeGenericRuntimeManager，也是在 NewMainKubelet 中初始化的。
k8s的Garbage Collection回收机制
qq_42997214的博客
10-26 866
  Gc主要由kubelet执行，kubelet进程启动时会自动创建两个GC，一个负责回收image 另一个负责回收container。Images回收会5分钟执行一次，container会1分钟执行一次。   Kubelet里有关于回收机制的参数，可以自定义配置，也可使用其默认配置。   image回收参数 主要分三个参数： A:--minimum-image-ttl-duration...
浅析 Kubelet 驱逐机制
k8s 生态
11-12 512
本文基于对 Kubernetes v1.22.1 的源码阅读Kubelet 出于对节点的保护，允许在节点资源不足的情况下，开启对节点上 Pod 进行驱逐的功能。最近对 Kubelet 的驱...
k8s系列-记录一次k8s驱逐残留问题 Evicted （docker磁盘占用超过85 或 tcp socket数量过多）-deshan ilog - - tke容器管理
yuezhilangniao的博客
09-27 2718
起因 1 有个node节点异常（tke集群里面一台机器 pod数量超标导致） kubectl get pod -n ilog NAME READY STATUS RESTARTS AGE ilogdc-deployment-75757cc87d-msfzl 1/1 Running 0 2d19h ilogres-deployment-77b4646786-gh2w5
k8s中磁盘空间清理以及垃圾回收机制你知道吗
关注微信公众号【开源Linux】，后台回复『10T』，领取10T学习资源大放送，涵盖Linux、虚拟化、容器、云计算、网络、Python、Go等书籍和视频
03-07 814
链接：https://blog.51cto.com/u_11555417/5680563老版本的kubernetes集群，容器运行时使用的是docker，经常会出现集群运行很久后节点的硬盘快跑满了，大文件主要集中在:/var/lib/dokcer/ovlery2,该目录下文件有块70G，/var/log/或者/var/log/journal下也有大日志文件占用空间。此时需要及时清理，不然会导致集群...
kubelet-client-current.pem证书怎么续期
06-30
<think>我们正在讨论如何续期kubelet-client-current.pem证书。根据引用内容，这个证书是kubelet的客户端证书，用于kubelet与APIServer之间的认证。续期方法有两种：自动轮换和手动续期。用户特别提到了kubelet-client-current.pem，所以我们重点关注这个证书。根据引用[2]和[3]： -自动轮换：当配置了自动轮换后，kubelet会自动更新这个证书。kubelet-client-current.pem是一个符号链接，指向当前有效的客户端证书（如kubelet-client-2020-11-15-15-57-15.pem）。-如果自动轮换没有正常工作，可能会导致证书过期，此时需要手动干预。 **步骤概述：**1.**检查证书状态**：确认证书是否过期或即将过期。 2. **自动轮换配置**：如果尚未配置自动轮换，则进行配置（推荐）。3.**手动续期**：如果自动轮换配置后仍未更新，或者需要立即续期，则进行手动操作。 **详细步骤：**###一、检查证书有效期在节点上执行：```bashopenssl x509 -in /var/lib/kubelet/pki/kubelet-client-current.pem-noout -dates``` 输出示例：``` notBefore=Nov1507:52:152020GMTnotAfter=Nov1507:52:152021 GMT```###二、配置自动轮换（推荐） 如果尚未配置自动轮换，请按以下步骤操作：1.**确保kube-controller-manager启用相关特性**编辑文件`/etc/kubernetes/manifests/kube-controller-manager.yaml`（在Master节点上），添加或确保以下参数：```yamlspec:containers:-command:---feature-gates=RotateKubeletClientCertificate=true#启用客户端证书轮换- --cluster-signing-duration=87600h0m0s#设置CA签名有效期（可选，延长CA有效期）```2.**配置kubelet**编辑kubelet配置文件`/var/lib/kubelet/config.yaml`，添加：```yamlfeatureGates:RotateKubeletClientCertificate:true#启用客户端证书轮换rotateCertificates: true#允许kubelet自动轮换证书```3.**重启kubelet**```bashsystemctldaemon-reloadsystemctlrestart kubelet``` >**注意**：自动轮换需要kube-controller-manager的证书签发功能正常工作[^3]。###三、手动续期（如果自动轮换未触发） 如果证书已经过期，自动轮换可能无法正常工作，需要手动操作：1.**删除旧证书**（可选，备份后删除）```bashmv/var/lib/kubelet/pki/kubelet-client-current.pem/tmp/kubelet-client-current.pem.bak``` 2. **重启kubelet触发重新申请**```bashsystemctlrestart kubelet``` 3. **检查kubelet是否自动生成新证书**查看新证书：```bashls -l /var/lib/kubelet/pki/kubelet-client-current.pemopensslx509-in/var/lib/kubelet/pki/kubelet-client-current.pem -noout-dates``` 4. **如果重启后未生成新证书**（可能CSR未被批准）-检查未批准的CSR：```bashkubectl getcsr```-批准该节点的CSR（假设CSR名称为`node-name-csr`）：```bashkubectlcertificate approve<node-name-csr>``` 5. **手动获取证书**（参考引用[3]）如果批准后证书未自动下发，可手动保存：```bashkubectlget csr <node-name-csr>-ojsonpath='{.status.certificate}' |base64--decode> /var/lib/kubelet/pki/kubelet-client-current.pemsystemctl restartkubelet```###四、验证-查看新证书有效期：```bashopensslx509-in/var/lib/kubelet/pki/kubelet-client-current.pem -noout-dates``` -检查kubelet日志：```bashjournalctl-ukubelet |grep certificate``` >**关键提示**：> -手动操作后建议配置自动轮换以避免再次过期[^2][^5]> -确保节点时间同步（NTP）[^4]§§相关问题§§1.如何检查Kubernetes集群中所有节点的kubelet证书有效期？2.kube-controller-manager的证书自动签发功能依赖哪些条件？3.为什么kubelet客户端证书轮换需要批准CertificateSigningRequest？4.如何批量修复多节点集群中的过期 kubelet证书？</think>### 如何续期 kubelet-client-current.pem 证书 kubelet-client-current.pem 是 kubelet 的**客户端证书**，用于 kubelet 与 API Server 的认证。续期方法如下： --- #### 一、自动续期（推荐方案） **前提条件**：已配置证书自动轮换功能（Kubernetes ≥ 1.8） 1. **检查自动轮换状态** ```bash # 查看证书符号链接（自动轮换成功会生成新证书） ls -l /var/lib/kubelet/pki/kubelet-client-current.pem ``` 正常输出示例（带时间戳的证书文件）： `lrwxrwxrwx ... kubelet-client-current.pem -> kubelet-client-2025-06-01-12-34-56.pem` 2. **触发自动续期** ```bash # 重启 kubelet 触发证书轮换 sudo systemctl restart kubelet # 查看日志确认 journalctl -u kubelet | grep -i "certificate" ``` 成功日志示例： `Certificate rotation request completed, new certificate is in use` > **验证**： > ```bash > openssl x509 -in /var/lib/kubelet/pki/kubelet-client-current.pem -noout -dates > ``` > 输出中的 `notAfter` 应为未来时间（默认1年有效期）[^2] --- #### 二、手动续期（适用于自动轮换失效或证书已过期） ##### 步骤1：删除旧证书（强制 kubelet 重新申请） ```bash # 备份旧证书 sudo cp /var/lib/kubelet/pki/kubelet-client-current.pem{,.bak} # 删除证书文件（实际删除符号链接指向的文件） sudo rm -f $(readlink -f /var/lib/kubelet/pki/kubelet-client-current.pem) sudo rm /var/lib/kubelet/pki/kubelet-client-current.pem # 删除符号链接 ``` ##### 步骤2：重启 kubelet 触发证书申请 ```bash sudo systemctl restart kubelet ``` ##### 步骤3：批准证书签名请求（CSR） ```bash # 查看待处理的 CSR kubectl get csr | grep Pending # 批准该节点的 CSR（替换 NODE_NAME） kubectl certificate approve <NODE_NAME>-csr ``` ##### 步骤4：手动保存新证书（可选） 如果证书未自动下发[^3]： ```bash # 获取证书内容（替换 NODE_NAME） kubectl get csr <NODE_NAME>-csr -o jsonpath='{.status.certificate}' | base64 --decode | sudo tee /var/lib/kubelet/pki/kubelet-client-current.pem # 重启 kubelet sudo systemctl restart kubelet ``` --- #### 三、配置自动轮换（未开启时） 若未配置自动轮换，需修改以下配置： 1. **Master 节点**：编辑 Controller Manager ```yaml # /etc/kubernetes/manifests/kube-controller-manager.yaml command: - --feature-gates=RotateKubeletClientCertificate=true # 启用客户端证书轮换 - --cluster-signing-duration=87600h # 设置CA有效期（10年） ``` 2. **工作节点**：修改 kubelet 配置 ```yaml # /var/lib/kubelet/config.yaml rotateCertificates: true # 启用证书轮换 featureGates: RotateKubeletClientCertificate: true ``` 3. **重启服务** ```bash sudo systemctl daemon-reload sudo systemctl restart kubelet ``` --- #### 关键说明： 1. 证书路径：`/var/lib/kubelet/pki/kubelet-client-current.pem` 是符号链接，指向带时间戳的实际证书[^2] 2. 续期机制： - 客户端证书由 kubelet 主动申请，Controller Manager 签发[^1] - 证书过期前会自动轮换（默认提前 70% 有效期） 3. 过期处理：若证书已过期导致 kubelet 无法启动，需从正常节点复制证书或按手动流程操作[^4] > **故障排查**： > ```bash > journalctl -u kubelet | grep -i "certificate" # 查看证书错误 > ntpdate -u pool.ntp.org # 检查时间同步 > ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值