K8S:分享一次“乌龙问题”(人为导致的无法正常删除命名空间)

k8s踩坑(三)、kubeadm证书/etcd证书过期处理 故障现象 使用kubeadm部署的集群,在运行了一年之后今天,出现k8s api无法调取的现象,使用kubectl命令获取资源均返回如下报错: Unable to connect to the server: x509: certificate has expired or is not yet valid 故障排查 查看apiserver.crt证书的签署日期和过期日期: root@9027:... 阅读详情

问题背景

背景是这样的,我有一套测试用的K8S集群,发现无法正常删除命名空间了,一直处于Terminating状态,强制删除也不行。于是,再次手动创建了一个名为“test-b”的命名空间,同样也是不能正常删除。于是,展开了排查。不过,查到最后,发现是个毫无技术含量的“乌龙问题”。结果不重要,重要的是我想把这个过程分享一下。

排查过程

  1. 正常删除命名空间时,一直处于阻塞状态,只能Ctrl+C掉
[root@k8s-b-master ~]# kubectl delete ns test-b
namespace "test-b" deleted
  1. 查看状态一直处于Terminating状态
[root@k8s-b-master ~]# kubectl get ns
test-b            Terminating   18h
  1. 尝试强制删除,也是一直处于阻塞状态,也只能Ctrl+C掉
[root@k8s-b-master ~]# kubectl delete namespace test-b --grace-period=0 --force
  1. 查看详细信息发现
[root@k8s-b-master ~]# kubectl describe ns test-b
Name:         test-b
Labels:       kubernetes.io/metadata.name=test-b
Annotations:  <none>
Status:       Terminating
Conditions:
  Type                                         Status  LastTransitionTime               Reason                  Message
  ----                                         ------  ------------------               ------                  -------
  NamespaceDeletionDiscoveryFailure            True    Fri, 05 May 2023 14:06:52 +0800  DiscoveryFailed         Discovery failed for some groups, 1 failing: unable to retrieve the complete list of server APIs: metrics.k8s.io/v1beta1: the server is currently unable to handle the request
  NamespaceDeletionGroupVersionParsingFailure  False   Fri, 05 May 2023 14:06:52 +0800  ParsedGroupVersions     All legacy kube types successfully parsed
  NamespaceDeletionContentFailure              False   Fri, 05 May 2023 14:06:52 +0800  ContentDeleted          All content successfully deleted, may be waiting on finalization
  NamespaceContentRemaining                    False   Fri, 05 May 2023 14:06:52 +0800  ContentRemoved          All content successfully removed
  NamespaceFinalizersRemaining                 False   Fri, 05 May 2023 14:06:52 +0800  ContentHasNoFinalizers  All content-preserving finalizers finished

No resource quota.

No LimitRange resource.

问题出在这里:DiscoveryFailed:Discovery failed for some groups, 1 failing: unable to retrieve the complete list of server APIs: metrics.k8s.io/v1beta1: the server is currently unable to handle the request

难道API Server出问题了?于是继续排查。

  1. 检查API Server是否正常运行
[root@k8s-b-master ~]# kubectl get componentstatus
Warning: v1 ComponentStatus is deprecated in v1.19+
NAME                 STATUS    MESSAGE                         ERROR
controller-manager   Healthy   ok                              
etcd-0               Healthy   {"health":"true","reason":""}   
scheduler            Healthy   ok                              

从输出来看,controller-manager、scheduler和etcd集群都处于正常状态(Healthy)。

  1. 继续检查API Server的日志看看是否有错误或异常
# 获取API Server Pod的名称:
[root@k8s-b-master ~]# kubectl get pods -n kube-system -l component=kube-apiserver -o name
pod/kube-apiserver-k8s-b-master

# 查看API Server的日志:
[root@k8s-b-master ~]# kubectl get pods -n kube-system -l component=kube-apiserver -o name
pod/kube-apiserver-k8s-b-master
[root@k8s-b-master ~]# kubectl logs -n kube-system kube-apiserver-k8s-b-master
...
...
W0506 01:00:12.965627       1 handler_proxy.go:105] no RequestInfo found in the context
E0506 01:00:12.965711       1 controller.go:116] loading OpenAPI spec for "v1beta1.metrics.k8s.io" failed with: failed to retrieve openAPI spec, http error: ResponseCode: 503, Body: service unavailable
, Header: map[Content-Type:[text/plain; charset=utf-8] X-Content-Type-Options:[nosniff]]
I0506 01:00:12.965722       1 controller.go:129] OpenAPI AggregationController: action for item v1beta1.metrics.k8s.io: Rate Limited Requeue.
W0506 01:00:12.968678       1 handler_proxy.go:105] no RequestInfo found in the context
E0506 01:00:12.968709       1 controller.go:113] loading OpenAPI spec for "v1beta1.metrics.k8s.io" failed with: Error, could not get list of group versions for APIService
I0506 01:00:12.968719       1 controller.go:126] OpenAPI AggregationController: action for item v1beta1.metrics.k8s.io: Rate Limited Requeue.
I0506 01:00:43.794546       1 controller.go:616] quota admission added evaluator for: endpointslices.discovery.k8s.io
I0506 01:00:44.023629       1 controller.go:616] quota admission added evaluator for: endpoints
W0506 01:01:12.965985       1 handler_proxy.go:105] no RequestInfo found in the context
E0506 01:01:12.966062       1 controller.go:116] loading OpenAPI spec for "v1beta1.metrics.k8s.io" failed with: failed to retrieve openAPI spec, http error: ResponseCode: 503, Body: service unavailable
, Header: map[Content-Type:[text/plain; charset=utf-8] X-Content-Type-Options:[nosniff]]
I0506 01:01:12.966069       1 controller.go:129] OpenAPI AggregationController: action for item v1beta1.metrics.k8s.io: Rate Limited Requeue.
W0506 01:01:12.969496       1 handler_proxy.go:105] no RequestInfo found in the context
E0506 01:01:12.969527       1 controller.go:113] loading OpenAPI spec for "v1beta1.metrics.k8s.io" failed with: Error, could not get list of group versions for APIService
...
...
# 后面都是这样的Log
...
...

从输出日志来看,问题似乎与metrics.k8s.io/v1beta1有关,这个API被用于收集Kubernetes集群的度量数据。可能是因为度量服务器(metrics-server)出现故障,无法满足API Server的请求,导致API Server无法处理请求。

  1. k8s默认是没有metrics-server组件的呀,还是看看:
[root@k8s-b-master ~]# kubectl get pods -n kube-system -l k8s-app=metrics-server
No resources found in kube-system namespace.

kube-system命名空间中没有找到标签为k8s-app=metrics-server的Pod,这很正常呀,K8S本来就是默认没有安装Metrics Server 组件的,为什么现在又依赖了?

查到这里,我突然想起了前段时间部署过kube-prometheus,当时kube-state-metrics拉取镜像失败没有正常运行,因为是临时测试环境,后来就没管了,时间一长居然把这事给忘了。

于是看了一下,发现还真是:

[root@k8s-b-master ~]# kubectl get pod -n monitoring
NAME                                   READY   STATUS             RESTARTS       AGE
alertmanager-main-0                    2/2     Running            14 (30m ago)   5d19h
alertmanager-main-1                    2/2     Running            14 (29m ago)   5d19h
alertmanager-main-2                    2/2     Running            14 (29m ago)   5d19h
blackbox-exporter-69f4d86566-wn6q7     3/3     Running            21 (30m ago)   5d19h
grafana-56c4977497-2rjmt               1/1     Running            7 (29m ago)    5d19h
kube-state-metrics-56f8746666-lsps6    2/3     ImagePullBackOff   14 (29m ago)   5d19h # 拉取镜像失败导致没有正常运行
node-exporter-d8c5k                    2/2     Running            14 (30m ago)   5d19h
node-exporter-gvfx2                    2/2     Running            14 (30m ago)   5d19h
node-exporter-gxccx                    2/2     Running            14 (29m ago)   5d19h
node-exporter-h292z                    2/2     Running            14 (30m ago)   5d19h
node-exporter-mztj6                    2/2     Running            14 (29m ago)   5d19h
node-exporter-rvfz6                    2/2     Running            14 (29m ago)   5d19h
node-exporter-twg9q                    2/2     Running            13 (29m ago)   5d19h
prometheus-adapter-77f56b865b-76nzk    0/1     ImagePullBackOff   0              5d19h
prometheus-adapter-77f56b865b-wbcwl    0/1     ImagePullBackOff   0              5d19h
prometheus-k8s-0                       2/2     Running            14 (30m ago)   5d19h
prometheus-k8s-1                       2/2     Running            14 (29m ago)   5d19h
prometheus-operator-788dd7cb76-85zwj   2/2     Running            14 (29m ago)   5d19h

反正也不用这套环境了,干它:

[root@k8s-b-master ~]# kubectl delete -f kube-prometheus-main/manifests/
[root@k8s-b-master ~]# kubectl delete -f kube-prometheus-main/manifests/setup/

再次查看命名空间,test-b这个命名空间也随之能正常删除掉了,问题解决:

[root@k8s-b-master ~]# kubectl get ns
NAME              STATUS   AGE
default           Active   5d22h
kube-node-lease   Active   5d22h
kube-public       Active   5d22h
kube-system       Active   5d22h
[root@k8s-b-master ~]# 

最后的觉悟

结合官方文档相关资料和自己平常的经验反思了一下这个事情,kube-state-metrics 组件是负责监控 K8S 集群的状态,并且它会定期获取集群内各个资源的指标数据,这些指标数据会被 Metrics Server 组件使用。当 kube-state-metrics 组件无法正常工作时,Metrics Server 组件就无法获取到指标数据,从而导致 Metrics Server 组件无法正常运行。在 K8S 集群中,很多组件都会使用 Metrics Server 组件提供的指标数据,例如 HPA、kubelet 等。如果 Metrics Server 组件无法正常运行,可能会导致其他组件出现问题,包括删除命名空间时提示错误。也就是说 Metrics Server 组件无法正常运行,导致了API Server组件在处理其它一些请求时可能会失败,从而发生了无法正常删除命名空间的情况。

本文转载于WX公众号:不背锅运维(喜欢的盆友关注我们):https://mp.weixin.qq.com/s/JLeL4j-mX2x2BBZxWu414g

k8s 强制删除 namespace【没想到删不掉?】 没想到删除k8s的namespace还删不掉? 阅读详情

相关推荐

VideoPose3D | 环境搭建

文章目录环境要求下载PyTorch基本步骤验证安装问题修复数据集设置Human3.6MCPN detections配置wget命令安装CPN评估环境测试问题测试报错 无法识别参数3 3 3 3卡在最后评估 主要参考:GitHub / facebookresearch / VideoPose3D 环境要求 Dependencies Make sure you have the followin...

D0 8657

K8S强制删除处于Terminating状态命名空间

每当删除 namespace 或 pod 等一些 Kubernetes 资源时,有时资源状态会卡在 Terminating,很长时间无法删除,甚至有时增加 --force grace-period=0 之后还是无法正常删除。这时就需要 edit 该资源,或者将该资源导出为 json(通过调用原生接口进行删除), 将 finalizers 字段设置为 [],之后 Kubernetes 资源就正常删除了。 logging这个 namespace 一直处于状态,一般情况下强删是删不掉的,强删的方法如下:# k

weixin_45965192的博客 2132

第10章:位同步与Gardner环路(1)

第10章(1)内容如下:一、位同步与载波同步的区别1、采样时钟相位偏差的影响2、采样时钟频率偏差的影响二、Gardner环路算法与插值方法1、插值滤波器2、Gardner误差检查算法三、Gardner环路中环路滤波器与数字振荡器设计1、环路滤波器2、数控振荡器(NCO)四、Gardner环路的可运行MATLAB代码五、参考资料六、致谢 最近搞懂了Gardner环路的一些知识,于是更新第10章——位同步。 如果你稍不留意的话,这可能是你在网上能看到的介绍Gardner环路及其MATLAB仿真最详细的一篇文章了

weixin_44283855的博客 1万+

k8s部署mertics-server

k8s部署mertics-server 说明: 集群部署好后,如果想使用kubectl top node/pod来查看资源使用情况,需要我们部署对应api资源才可以使用此命令。从 Kubernetes 1.8 开始,资源使用指标(如容器 CPU 和内存使用率)通过 Metrics API 在 Kubernetes 中获取, metrics-server 替代了heapster。 配套k8s版本: Metrics Server Metrics API group/version Supported K

m0_38077467的博客 748

VSCode配置ClangFormat:让C++大括号乖乖不换行(附常见样式对比)

本文详细介绍了如何在VSCode中配置ClangFormat,实现C++代码大括号不换行的格式化风格。通过对比Attach、Allman等主流大括号样式,并提供从快速设置到项目级配置的完整指南,帮助开发者打造统一、高效的代码格式化工作流,提升团队协作效率。

weixin_28835551的博客 221

DAC8760高精度数模转换器原理与工业级嵌入式应用

数模转换器(DAC)是工业测控系统中实现数字指令到模拟执行的关键接口,其核心性能由分辨率、线性度、温漂及系统级TUE(总未调整误差)共同决定。DAC8760作为一款16位四象限精密DAC,集成了可编程增益放大器(PGA)、内部基准源与SPI高速接口,支持电压/电流双模输出,显著提升闭环控制精度与硬件适配灵活性。其技术价值在于将高精度模拟前端与数字控制深度耦合,满足PLC、ATE及激光偏置等严苛场景对长期稳定性与多通道同步性的要求。本文围绕DAC8760的寄存器配置、HAL/LL驱动实践、PCB布局规范、现场

weixin_42315569的博客 583

Kubernetes全栈架构师(二进制高可用安装k8s集群扩展篇)--学习笔记

目录 二进制Metrics&Dashboard安装 二进制高可用集群可用性验证 生产环境k8s集群关键性配置 Bootstrapping: Kubelet启动过程 Bootstrapping: CSR申请和证书颁发原理 Bootstrapping: 证书自动续期原理 二进制Metrics&Dashboard安装 安装CoreDNS 安装Metrics Server 安装dashboard 安装CoreDNS 安装对应版本(推荐) cd /root/k8s-ha-ins

MINGSON666的博客 2965

串口通信的性能瓶颈分析:如何提高数据吞吐量和降低延迟

摘要: 串口通信在高频或大数据场景下存在吞吐量不足、延迟高、丢帧等问题,主要瓶颈包括波特率限制、缓冲区不足、CPU轮询延迟等。优化策略包括:提升波特率至硬件上限、增大缓冲区、采用异步I/O(如ReadAsync)减少线程切换,使用二进制协议降低解析开销。实时性方面需启用硬件流控、批量发送数据,并优化线程优先级。跨平台适配需区分Windows/Linux的缓冲区设置与异步机制。性能测试可通过吞吐量、延迟及回环测试验证优化效果,核心原则是硬件匹配、异步处理、协议优化与跨平台适配。(150字)

这里只有干货:从 Modbus 通信到 MES 对接,从 YOLO 训练到工控机部署,带你搞定工业软件开发全流程。 988

从Notebook到生产:ML模型服务化四层架构实战

机器学习模型服务化(ML Model Serving)是将训练好的模型稳定、高效、可观测地部署至生产环境的关键环节。其核心在于解决计算一致性、协议可靠性、编排可维护性与治理可追溯性四大挑战。技术原理上,需融合推理引擎(如Triton)、声明式编排(Kubernetes Operator)、标准化协议(gRPC/Protobuf)与多维可观测性(GPU指标+业务语义)。该能力直接支撑推荐系统、实时风控、智能客服等高可用AI场景,并成为MLOps落地的核心支柱。本文聚焦真实产线中‘模型能跑通’到‘敢签SLA’的

weixin_34378767的博客 445

智能合约监控告警:提示工程架构师用AI Prompt实现精准预警

当AI大模型(尤其是代码理解模型如CodeLlama、GPT-4 Code)与区块链数据结合,智能合约监控迎来范式革新。AI模型如何精准理解智能合约的业务特殊性?如何避免"AI幻觉"导致的误报?如何让模型学会区分"正常异常"与"攻击前兆"?答案藏在"提示工程"(Prompt Engineering)中。理解特定智能合约的业务逻辑(如DeFi协议的清算机制、NFT的铸造规则)识别复杂的攻击模式(如重入攻击的调用链特征、闪电贷的套利路径)结合链上链下数据进行多维度推理(如关联价格波动与异常交易)

AI架构全栈开发实战笔记 1011

DeepSeek:为文化创意产业注入AI新动能

沪南胜境,闵行新章。随后,2024 年 5 月,DeepSeek 宣布开源第二代 MoE 大模型 DeepSeek-V2,以其比肩 GPT-4Turbo 的卓越性能,以及仅为 GPT-4 百分之一的价格优势,迅速在市场中掀起波澜,收获了 “AI 届拼多多” 的独特名号,让更多人看到了高性价比 AI 大模型的可能性。创作者自身也应提高对创作伦理的认识,树立正确的创作观念,在使用 AI 工具时,保持对创作的主导权,充分发挥自己的创造力和想象力,将 AI 作为创作的辅助工具,而不是替代品。

远程部署调试 运行安装 项目调试 二次开发 项目技术新 持续迭代 部分源码免费分享 1962

kube-apiserver不规律报loading OpenAPI spec for “v1beta1.metrics.k8s.io“ failed with: failed to retrieve

k8s apiserver错误日志一真报以下错误,但是metricserver组件是正常的。 loading OpenAPI spec for "v1beta1.metrics.k8s.io" failed with: failed to retrieve openAPI spec, http error: ResponseCode: 503, Body: Error trying to reach service: 'read tcp 10.0.0.198:44512->10.0.0.198:443

x10n9的博客 6907

NTscan扫描工具

ntscan是一个扫描器,可以扫描没有密码和弱密码的共享,先到配置文件中填写猜测的用户名和密码,扫描过程中右侧出现的是扫描日志。

解决k8s中删除命名空间时一直显示Terminating而无法删除成功的问题

查看命名空间状态为Terminating,且持续了许久。在启动dashboard的时候报错,再次创建无法创建。1、先将namespace的配置文件输出保存。4、在另一个中断中,使用http接口进行删除。2、编辑json文件,删除字段。最后成功删除命名空间,结果如下。强制删除也没有立马生效。

m0_55658918的博客 885

汉书HE8,好用的汇编代码编写工具

汉书HE8,好用的汇编代码编写工具早期编写汇编代码所用功能强大

STM32F407中文手册

STM32f407中文手册 本参考手册面向应用开发人员,提供有关使用 STM32F405xx/07xx、STM32F415xx/17xx、 STM32F42xxx 和 STM32F43xxx 微控制器存储器与外设的完整信息。STM32F405xx/07xx、STM32F415xx/17xx、STM32F42xxx 和 STM32F43xxx 构成一个微 控制器系列,各产品具有不同的存储器大小、封装和外设。有关订购信息以及器件的机械与电气特性,请参见数据手册。有关 ARM Cortex™-M4F 内核的信息,请参见《Cortex™-M4F 技术参考手册》。

Kubernetes删除ns(namespace)

注:delete-ns-ingress-nginx.json 是刚才你导出并修改后的json文件,注意执行命令的时候前面有@字符。------ok--------kahn------2023年7月1日13:29:26-----------3、如果上面的3中方法依然无法删除kubernetes命名空间,则可以再尝试使用接口去删除。1、获取命名空间的json文件,下面以删除ingress-nginx这个命名空间为例。k8s遇到有无法删除的ns(namespace)命名空间的时候,可以尝试几种删除方式。

潇洒哥的运维之道 8455

文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况

主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。

kubernetes_Namespace无法删除的解决方法

场景:Kubectl delete ns XXXX , namespace 一直处于 Terminating 状态。 使用kubectl delete ns test --force=true,也无法删除。 原因分析:k8s 认为当前命名空间内,还存在未释放资源 实际观察,delete 命令执行后,一直在等待,所以的确有部分资源未释放 解决思路: 1. 查看命名空间下所有资源 kubectl api-resources -o name --verbs=list --namesp..

Wqr_18390921824的博客 3085

K8s Namespace无法删除解决办法、思路、原理

情况: Kubectl delete ns XXXX 后, namespace 一直处于 Terminating 状态。 使用: kubectl delete ns monitoring --grace-period=0 –force 后,也无法删除。 原因分析: 删除时,报错: warning: Immediate deletion does not wait for con...

Jerry_Pan1990的博客 1万+

Kubernetes — Dashboard

参考文件: Kubectl Reference Docs (kubernetes.io) 配置对多集群的访问 | Kubernetes

qq_41619571的博客 1万+

v1beta1.metrics.k8s.io failed with: Operation cannot be fulfilled on apiservices.apiregistration.k8s

问题描述: K8S 集群自动扩容出现问题,错误如下   Warning  FailedGetResourceMetric       57m (x2401 over 5d)  horizontal-pod-autoscaler  unable to get metrics for resource cpu: unable to fetch metrics from resource metr...

shida's blog 1万+

k8s删除namespace失败,状态Terminating解决方案,cattle-system一直为Terminating状态解决方案

解决方案,删除其中的spec字段,因为k8s集群是携带认证的: kubectl proxy--port=8081 & 1,导出信息 kubectl get namespace wubo -o json > tmp.json 2,删除spec 3 执行 curl -k -H "Content-Type: application/json" -X PUT --data-binary @tmp.json http://127.0.0.1:8081/api/v1/namespa.

码农崛起 2784

k8s的命名空间删除失败-Terminating (有脚本一键删除)

k8s Terminating 删除失败

qq_45439217的博客 1076

k8s命名空间删除失败,状态一直是Terminating

如果已经删除了,那就是正确的。命令一直卡着,不会执行完成。

qq_42449963的博客 1726

【云原生 | Kubernetes 实战】04、k8s 名称空间和资源配额

k8s 名称空间和资源配额

GG Bond 的博客 1705

执行kubectl get pods 提示 No resources found.

1.vim /etc/kubernetes/apiserver 2.找到 "KUBE_ADMISSION_CONTROL="--admission_control=NamespaceLifecycle,NamespaceExists,LimitRanger,SecurityContextDeny,ServiceAccount,ResourceQuota" 去掉ServiceAccount,保...

kongkong的专栏 3837

清理所有处于终止状态的容器

删除容器 可以使用 docker rm 来删除一个处于终止状态的容器。 如果要删除一个运行中的容器,可以添加 -f 参数。Docker 会发送 SIGKILL 信号给容器。 清理所有处于终止状态的容器 用 docker ps -a 命令可以查看所有已经创建的包括终止状态的容器,如果数量 太多要一个个删除可能会很麻烦,用 docker rm $(docker ps -a -q) 可以...

霓虹深处 858

解决k8s中命名空间无法删除的问题

1、想要去删除k8s中的一个指定命名空间,刚开始使用命令 kubectl delete ns 命名空间的名字 # 或者使用 kubectl delete ns 命名空间的名字 --force --grace-period=0 使用以上两种命令均无法成功删除命名空间,只会使命名空间的状态为Terminating状态 2、使用以下方法成功删除 1)使用命令 kubectl get namespace 命名空间的名字 -o json > devtesting.json 执行完这条命令后,当前文件夹会

qq_31152023的博客 7869
上一篇: 同行盆友来稿:初探Python变量
下一篇: 下篇:使用jenkins发布go项目到k8s,接上篇的手工体验改造为自动化发布
不背锅运维
博客等级 码龄4年 38粉丝 1原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值