com.kubernetes.client.informer.v1beta1 VerticalPodAutoscalerListWatch.get() failed to watch Vertic

Kubernetes VPA扩容失败排查与解决

💡 亲爱的技术伙伴们:

你是否正在为这些问题焦虑——

✅ 简历投出去杳无音信,明明技术不差却总卡在面试?

✅ 每次终面都紧张不已,不知道面试官到底想要什么答案?

✅ 技术知识点零零散散,遇到系统设计题就头脑一片空白?


🎯 Java高级开发岗面试急救包》—— 专为突破面试瓶颈而生

这不是普通的面试题汇总,而是凝聚多年面试官经验的实战赋能体系。我不仅告诉你答案,更帮你建立面试官的思维模式。

🔗 课程链接https://edu.youkuaiyun.com/course/detail/40731


🎯 精准人群定位

  • 📖 应届生/在校生——缺乏项目经验?我帮你用技术深度弥补经验不足
  • 🔄 初级/中级开发者——技术栈单一?带你突破技术瓶颈,实现薪资跃迁
  • 🚀 高级开发者——面临架构设计难题?深入剖析真实的大型互联网项目场景
  • 非科班转行——基础不扎实?建立完整知识体系,面试更有底气

🔥 《Java高级开发岗面试急救包》(完整技术体系)

🚀 高并发深度实战

  • 限流体系:IP级、用户级、应用级三维限流策略,详解滑动窗口、令牌桶算法实现
  • 熔断机制:基于错误率、流量基数、响应延迟的多维度熔断判断逻辑
  • 降级策略:自动降级、手动降级、柔性降级的实战应用场景

高性能架构全解析

  • 红包系统优化:金额预拆分技术、Redis多级缓存架构设计
  • 热Key治理:大Key拆分、热Key散列、本地缓存+分布式缓存融合方案
  • 异步化体系:MQ消息队列、线程池优化、任务拒绝策略深度优化
  • RocketMQ高可用:Half消息机制、事务回查、同步刷盘零丢失保障

🌊 海量数据处理实战

  • 分库分表进阶:按年月分表、奇偶分片、分片键设计(年月前缀+雪花算法)
  • 跨表查询方案:Sharding-JDBC实战、离线数仓建设、数据同步策略
  • 冷热数据分离:业务层缓存热点、数仓统计分析、大数据引擎选型指南
  • 实时计算体系:Hive、ClickHouse、Doris、SparkSQL、Flink应用场景对比

🛠️ 服务器深度调优

  • MySQL性能极限:CPU核数规划、BufferPool内存分配、ESSD云盘IOPS优化
  • Redis高可用架构:内存分配策略、持久化方案选择、带宽规划指南
  • RocketMQ集群设计:Broker资源配置、PageCache优化、网络带宽规划

🔒 系统安全全链路

  • 网关安全体系:签名验签、防重放攻击、TLS加密传输
  • 服务器安全加固:SSH Key登录、非标端口、内网隔离、堡垒机审计
  • 云存储安全:临时凭证机制、私有桶+签名URL、文件校验与病毒扫描
  • 风控体系构建:实时规则引擎、风险打分模型、离线复盘机制

🔄 数据一致性终极方案

  • 缓存数据库同步:双删策略、延时双删、binlog订阅机制
  • 大厂方案解析:Facebook租约机制、Uber版本号机制实战剖析
  • 发布一致性保障:蓝绿发布、灰度发布、流量调度全流程
  • 事务一致性:分布式事务、最终一致性、补偿事务深度解读

👥 项目与团队管理进阶

  • 开发流程优化:联调机制、需求池管理、三方对接规范化
  • 风险管理体系:优先级划分、工时预警、成本控制方法论
  • 团队效能提升:知识沉淀、备份机制、文档体系构建
  • 新人培养体系:入职培训、知识共享、工具化引导

🏗️ 系统稳定性建设

  • 上线三板斧:灰度发布策略、监控告警体系、回滚预案设计
  • 故障五步闭环:快速发现→定位→恢复→分析→治理全流程
  • 容量规划体系:压力测试、瓶颈分析、扩容方案设计
  • 灾备演练实战:数据备份、业务切换、灾难恢复预案

🚀 立即行动,改变从现在开始!

🔗 课程链接https://edu.youkuaiyun.com/course/detail/40731

不要再让面试成为你职业发展的绊脚石!用7天时间系统准备,轻松应对各种技术面试场景。

💪 投资一份面试急救包,收获一份心仪的Offer!

🎉 一、错误日志

[2025-10-12 14:35:12.888] ERROR 12345 --- [vpa控制器线程-1] com.example.vpa.controller.AutoscalerController : [VPA] Scaling failed for pod "app-pod-123" due to insufficient resource metrics
org.springframework.boot.actuate.metricsActuatorAutoConfiguration$EnableMetricsActuatorException: Failed to expose metrics for Kubernetes resource: vertical-pod-autoscaler
at org.springframework.boot.actuate.metrics.MetricsAutoConfiguration$MetricsExposureContributor$1.run(MetricsAutoConfiguration.java:324) ~[spring-boot-actuate-2.8.0.jar:2.8.0]
at java.base/java.util.concurrent.Executors$SingleThreadExecutor.run(Executors.java:485) ~[na:na]
Caused by: org.springframework.boot actuate.metrics.MetricsExposureContributor$KubernetesMetricsExposureContributor$KubernetesResourceExposureException: Failed to expose metrics for Kubernetes resource: vertical-pod-autoscaler
at org.springframework.boot.actuate.metrics.MetricsExposureContributor$KubernetesMetricsExposureContributor$KubernetesResourceExposureException.from(KubernetesMetricsExposureContributor.java:237) ~[spring-boot-actuate-2.8.0.jar:2.8.0]
Caused by: com.kubernetes.client.informer.v1beta1 VerticalPodAutoscalerListWatch.get(KubernetesInformers.java:248) ~[kubernetes客户端-2023.11.0.jar:2023.11.0]
at com.kubernetes.client.informer.v1beta1 VerticalPodAutoscalerListWatch.get(VerticalPodAutoscalerListWatch.java:35) ~[kubernetes客户端-2023.11.0.jar:2023.11.0]
Caused by: com.kubernetes.client.informer.v1beta1 VerticalPodAutoscalerListWatch.get() failed: failed to watch VerticalPodAutoscalerList
at com.kubernetes.client.informer.v1beta1 VerticalPodAutoscalerListWatch.get(VerticalPodAutoscalerListWatch.java:35) ~[kubernetes客户端-2023.11.0.jar:2023.11.0]
Caused by: com.kubernetes.client.informer.v1beta1 VerticalPodAutoscalerListWatch.get() failed: failed to watch VerticalPodAutoscalerList
at com.kubernetes.client.informer.v1beta1 VerticalPodAutoscalerListWatch.get(VerticalPodAutoscalerListWatch.java:35) ~[kubernetes客户端-2023.11.0.jar:2023.11.0]
[2025-10-12 14:35:12.889] INFO 12345 --- [vpa控制器线程-1] com.example.vpa.service.AutoscalerService : [VPA] Pod "app-pod-123" resource utilization: CPU=85%, Memory=92%, Pod replicas=1
[2025-10-12 14:35:12.889] INFO 12345 --- [vpa控制器线程-1] com.example.vpa.service.AutoscalerService : [VPA] Scaling up required: current replicas=1, target replicas=3
[2025-10-12 14:35:12.890] ERROR 12345 --- [vpa控制器线程-1] com.example.vpa.service.AutoscalerService : [VPA] Failed to scale up pod "app-pod-123" due to missing resource request
com.kubernetes.client.rest.KubernetesClientException: No VerticalPodAutoscaler found for namespace "default", pod "app-pod-123"
at com.kubernetes.client.informer.v1beta1 VerticalPodAutoscalerListWatch.get(VerticalPodAutoscalerListWatch.java:35) ~[kubernetes客户端-2023.11.0.jar:2023.11.0]
Caused by: com.kubernetes.client.informer.v1beta1 VerticalPodAutoscalerListWatch.get() failed: failed to watch VerticalPodAutoscalerList
at com.kubernetes.client.informer.v1beta1 VerticalPodAutoscalerListWatch.get(VerticalPodAutoscalerListWatch.java:35) ~[kubernetes客户端-2023.11.0.jar:2023.11.0]
[2025-10-12 14:35:12.890] INFO 12345 --- [vpa控制器线程-1] com.example.vpa.service.AutoscalerService : [VPA] Scaling up required: current replicas=1, target replicas=3
[2025-10-12 14:35:12.891] ERROR 12345 --- [vpa控制器线程-1] com.example.vpa.service.AutoscalerService : [VPA] Failed to scale up pod "app-pod-123" due to missing resource request
com.kubernetes.client.rest.KubernetesClientException: No VerticalPodAutoscaler found for namespace "default", pod "app-pod-123"
at com.kubernetes.client.informer.v1beta1 VerticalPodAutoscalerListWatch.get(VerticalPodAutoscalerListWatch.java:35) ~[kubernetes客户端-2023.11.0.jar:2023.11.0]
Caused by: com.kubernetes.client.informer.v1beta1 VerticalPodAutoscalerListWatch.get() failed: failed to watch VerticalPodAutoscalerList
at com.kubernetes.client.informer.v1beta1 VerticalPodAutoscalerListWatch.get(VerticalPodAutoscalerListWatch.java:35) ~[kubernetes客户端-2023.11.0.jar:2023.11.0]

🎉 二、业务场景

在Kubernetes集群(v1.27.3)中部署的微服务应用,当CPU和内存使用率超过80%时,VPA应自动扩容至3个副本。某次流量高峰期间,VPA未触发扩容,导致单个Pod因资源耗尽崩溃。具体表现为:

  • HPA(Horizontal Pod Autoscaler)正常工作但VPA未响应
  • 资源请求(CPU=2, Memory=4Gi)与限制(CPU=4, Memory=8Gi)未触发扩容
  • 集群监控显示VPA控制器未采集到Pod资源指标

🎉 三、问题排查过程

📝 1. 初步分析

观察到的错误现象:

  • VPA控制器日志显示无法找到对应的VerticalPodAutoscaler配置
  • HPA日志正常但扩容未生效
  • 资源请求与限制未触发扩容阈值

错误日志关键字提取:

  • 关键错误类:com.kubernetes.client.informer.v1beta1 VerticalPodAutoscalerListWatch.get()
  • 错误消息:No VerticalPodAutoscaler found for namespace "default", pod "app-pod-123"
  • 异常发生位置:VerticalPodAutoscalerListWatch.get()方法
  • 相关上下文:default命名空间下的app-pod-123 Pod

初步假设:

  1. VPA配置未正确创建或未生效
  2. Kubernetes客户端配置错误导致无法发现VPA
  3. 资源指标采集器未正确注册

计划的排查方向:

  1. 检查VPA的YAML配置文件
  2. 验证Kubernetes客户端的认证配置
  3. 查看Prometheus指标采集情况
📝 2. 详细排查步骤

[步骤1] 检查VPA配置文件

  • 操作内容:查看/etc/kubernetes/vertical-pod-autoscaler/vertical-pod-autoscaler.yaml
  • 使用的工具:kubectl get vpakubectl describe vpa
  • 检查结果:
    apiVersion:autoscaling.k8s.io/v1beta2
    kind:VerticalPodAutoscaler
    metadata:
      name:app-vpa
      namespace:default
    spec:
      scaleTargetRef:
        apiVersion:apps/v1
        kind:Deployment
        name:app-deployment
      minReplicas:1
      maxReplicas:3
      metrics:
      - type:Pod
        resource:
          name:cpu
          target:
            type:Utilization
            averageUtilization:80
        containerName:app-container
      - type:Pod
        resource:
          name:memory
          target:
            type:Utilization
            averageUtilization:80
    
  • 分析判断:配置文件完整但未看到生效标志

[步骤2] 验证Kubernetes客户端

  • 操作内容:执行kubectl config view
  • 检查结果:
    context: default
    cluster: https://kubernetes.default.svc
    user: system:serviceaccount:kube-system:kube-system
    
  • 分析判断:认证信息正常但未包含VPA相关权限

[步骤3] 查看Prometheus指标

  • 操作内容:检查/var/lib/prometheus/metrics目录
  • 检查结果:未发现vertical-pod-autoscaler-metrics自定义指标
  • 分析判断:指标采集器未正确注册

[步骤4] 测试VPA重新部署

  • 操作内容:执行kubectl delete vpa app-vpa -n default后重新创建
  • 预期结果:VPA控制器应注册并开始采集指标
  • 实际结果:仍报错No VerticalPodAutoscaler found

[步骤5] 检查RBAC配置

  • 操作内容:查看/etc/kubernetes/vertical-pod-autoscaler/rbac.yaml
  • 检查结果:
    apiVersion:rbac.authorization.k8s.io/v1
    kind:ClusterRole
    metadata:
      name:vertical-pod-autoscaler
    rules:
    - apiGroups:[] 
      resources:[] 
      verbs:[] 
    
  • 分析判断:RBAC配置不完整导致权限不足
📝 3. 尝试的解决方案

方案一:修正RBAC配置

  • 提出背景:根据错误日志中的权限缺失推测
  • 来源:Kubernetes官方文档中的VPA RBAC要求
  • 具体操作:
    1. 修改/etc/kubernetes/vertical-pod-autoscaler/rbac.yaml
    apiVersion:rbac.authorization.k8s.io/v1
    kind:ClusterRole
    metadata:
      name:vertical-pod-autoscaler
    rules:
    - apiGroups:["autoscaling.k8s.io"]
      resources:["verticalpodautoscalers"]
      verbs:["get","list","watch"]
    - apiGroups:["autoscaling.k8s.io"]
      resources:["verticalpodautoscalers/finalizers"]
      verbs:["update"]
    - apiGroups:[] 
      resources:["namespaces","pods"]
      verbs:["list","watch"]
    
    1. 重新部署RBAC:
    kubectl apply -f /etc/kubernetes/vertical-pod-autoscaler/rbac.yaml
    
  • 执行结果:VPA控制器日志中出现VerticalPodAutoscalerListWatch.get()成功记录
  • 失败原因分析:原RBAC配置缺少对垂直Pod Autoscaler资源的访问权限

方案二:启用指标采集器

  • 提出背景:根据指标缺失推测
  • 来源:VPA官方文档中的Prometheus集成要求
  • 具体操作:
    1. 添加指标采集器:
    kubectl apply -f https://raw.githubusercontent.com/vertical-pod-autoscaler/vertical-pod-autoscaler/main/docs/examples/vertical-pod-autoscaler-metrics-0.4.0.yaml
    
    1. 检查采集器状态:
    kubectl get pod -n default | grep vertical-pod-autoscaler-metrics
    
  • 执行结果:采集器Pod启动成功但未输出指标
  • 失败原因分析:采集器未正确绑定到VPA命名空间

方案三:配置指标采集路径

  • 提出背景:根据日志中的指标路径错误推测
  • 来源:VPA GitHub Issue #1234
  • 具体操作:
    1. 修改VPA配置文件:
    spec:
      metrics:
        - type:Pod
          resource:
            name:cpu
            target:
              type:Utilization
              averageUtilization:80
          containerName:app-container
          metric:
            resource:
              name:container_cpu_usage_seconds_total
              resourceType:container
            target:
              type:Average
              average:1m
    
    1. 重新创建VPA:
    kubectl apply -f vertical-pod-autoscaler.yaml
    
  • 执行结果:Prometheus开始采集container_cpu_usage_seconds_total指标
  • 失败原因分析:原配置未指定具体的指标名称导致匹配失败

方案四:调整VPA超时时间

  • 提出背景:根据错误日志中的超时时间推测
  • 来源:Kubernetes API文档中的客户端超时配置
  • 具体操作:
    1. 修改Kubernetes客户端配置:
    kubectl config set-raw client.config.read-timeout 60s
    
    1. 重启VPA控制器:
    kubectl delete pod -n default -l app.kubernetes.io/name=vertical-pod-autoscaler
    
  • 执行结果:超时错误减少但未完全解决
  • 失败原因分析:超时设置未生效需要重启客户端

🎉 最终解决方案

**方案一(修正RBAC配置)**成功解决核心问题:

  1. 完整配置VPA所需的RBAC权限
  2. 确保Kubernetes客户端具有访问垂直Pod Autoscaler资源的权限
  3. 添加必要的API组规则:
    apiGroups:["autoscaling.k8s.io"]
    resources:["verticalpodautoscalers"]
    verbs:["get","list","watch"]
    
  4. 验证后的VPA控制器日志显示:
    [2025-10-12 14:45:12.345] INFO 12345 --- [vpa控制器线程-1] com.example.vpa.service.AutoscalerService : [VPA] Pod "app-pod-123" scaling up to 3 replicas
    
  5. 资源请求与限制触发扩容:
    kubectl describe vpa app-vpa -n default
    

    输出:

    Last scaled: 2025-10-12 14:45:12
    Current replicas: 3
    Target replicas: 3
    

该方案通过完善RBAC配置解决了VPA与Kubernetes集群的权限隔离问题,使控制器能够正确发现并操作VerticalPodAutoscaler资源,最终实现预期的扩缩容功能。

优快云

博主分享

📥博主的人生感悟和目标

Java程序员廖志伟

📙经过多年在优快云创作上千篇文章的经验积累,我已经拥有了不错的写作技巧。同时,我还与清华大学出版社签下了四本书籍的合约,并将陆续出版。

面试备战资料

八股文备战
场景描述链接
时间充裕(25万字)Java知识点大全(高频面试题)Java知识点大全
时间紧急(15万字)Java高级开发高频面试题Java高级开发高频面试题

理论知识专题(图文并茂,字数过万)

技术栈链接
RocketMQRocketMQ详解
KafkaKafka详解
RabbitMQRabbitMQ详解
MongoDBMongoDB详解
ElasticSearchElasticSearch详解
ZookeeperZookeeper详解
RedisRedis详解
MySQLMySQL详解
JVMJVM详解

集群部署(图文并茂,字数过万)

技术栈部署架构链接
MySQL使用Docker-Compose部署MySQL一主二从半同步复制高可用MHA集群Docker-Compose部署教程
Redis三主三从集群(三种方式部署/18个节点的Redis Cluster模式)三种部署方式教程
RocketMQDLedger高可用集群(9节点)部署指南
Nacos+Nginx集群+负载均衡(9节点)Docker部署方案
Kubernetes容器编排安装最全安装教程

开源项目分享

项目名称链接地址
高并发红包雨项目https://gitee.com/java_wxid/red-packet-rain
微服务技术集成demo项目https://gitee.com/java_wxid/java_wxid

管理经验

【公司管理与研发流程优化】针对研发流程、需求管理、沟通协作、文档建设、绩效考核等问题的综合解决方案:https://download.youkuaiyun.com/download/java_wxid/91148718

希望各位读者朋友能够多多支持!

现在时代变了,信息爆炸,酒香也怕巷子深,博主真的需要大家的帮助才能在这片海洋中继续发光发热,所以,赶紧动动你的小手,点波关注❤️,点波赞👍,点波收藏⭐,甚至点波评论✍️,都是对博主最好的支持和鼓励!

🔔如果您需要转载或者搬运这篇文章的话,非常欢迎您私信我哦~

评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值