记一次K8S部署SpringBoot项目时接口大量报错问题的解决

博客指出服务发版过程中会报错,通过参考在Kubernetes中实现优雅退出的文章解决问题。设置优雅关机,在K8S设置事件回调,让服务节点提前下线,还给出对应的yml配置,设置强制杀服务时间,确保旧pod完成请求且新流量不转发到已删pod。
  • 问题表现:每次服务发版的过程中都会报错
    Grafana监控:
    Grafana监控
    ELK日志:
    elk日志
  • 解决方案:参考了这篇文章 在Kubernetes中实现优雅退出 才彻底的解决了问题。
  1. 设置优雅关机
server:
  shutdown: graceful
  1. K8S设置事件回调,在执行停止命令前把服务节点从注册中心下线,不再接收新的请求流量,再睡一会儿,让先让容器的网关规则完成变更。
    在这里插入图片描述
    对应的yml配置:
    在这里插入图片描述
    设置强制杀掉服务的时间:terminationGracePeriodSeconds: 95

完成以上的操作,springboot默认优雅关机的时间30秒+preStopHook50秒 < 强制杀掉的时间95秒,这样子就能保证旧的pod能完成正在处理中的请求,而且新的流量不会转发已经被删除掉的pod中。
在这里插入图片描述

服务是什么?微服务是用于构建应用程序的架构风格,一个大的系统可由一个或者多个微服务组成,微服务架构可将应用拆分成多个核心功能,每个功能都被称为一项服务,可以单独构建和部署,这意味着各项服务在工作和出现故障的候不会相互影响。为什么要用微服务?单体架构下的所有代码模块都耦合在一起,代码量大,维护困难,想要更新一个模块的代码,也可能会影响其他模块,不能很好的定制化代码。微服务中可以有java编写、有Python编写的,他们都是靠restful架构风格统一成一个系统的,所以微服务本身与具体技术无关、扩展性强。大型电商平台微服务功能图为什么要将SpringCloud项目部署k8s平台?SpringCloud只能用在SpringBoot的java环境中,而kubernetes可以适用于任何开发语言,只要能被放进docker的应用,都可以在kubernetes上运行,而且更轻量,更简单。SpringCloud很多功能都跟kubernetes重合,比如服务发现,负载均衡,配置管理,所以如果把SpringCloud部署k8s,那么很多功能可以直接使用k8s原生的,减少复杂度。Kubernetes作为成熟的容器编排工具,在国内外很多公司、世界500强等企业已经落地使用,很多中小型公司也开始把业务迁移到kubernetes中。kubernetes已经成为互联网行业急需的人才,很多企业都开始引进kubernetes技术人员,实现其内部的自动化容器云平台的建设。对于开发、测试、运维、架构师等技术人员来说k8s已经成为的一项重要的技能,下面列举了国内外在生产环境使用kubernetes的公司: 国内在用k8s的公司:阿里巴巴、百度、腾讯、京东、360、新浪、头条、知乎、华为、小米、富士康、移动、银行、电网、阿里云、青云、速云、腾讯、优酷、抖音、快手、美团等国外在用k8s的公司:谷歌、IBM、丰田、iphone、微软、redhat等整个K8S体系涉及到的技术众多,包括存储、网络、安全、监控、日志、DevOps、微服务等,很多刚接触K8S的初学者,都会感到无从下手,为了能让大家系统地学习,克服这些技术难点,推出了这套K8S架构师课程。Kubernetes的发展前景 kubernetes作为炙手可热的技术,已经成为云计算领域获取高薪要掌握的重要技能,在招聘网站搜索k8s,薪资水平也非常可观,为了让大家能够了解k8s目前的薪资分布情况,下面列举一些K8S的招聘截图: 讲师介绍:  先超容器云架构师、IT技术架构师、DevOps工程师,曾就职于世界500强上市公司,拥有多年一线运维经验,主导过上亿流量的pv项目的架构设计和运维工作;具有丰富的在线教育经验,对课程一直在改进和提高、不断的更新和完善、开发更多的企业实战项目。所教学员遍布京东、阿里、百度、电网等大型企业和上市公司。课程学习计划 学习方式:视频录播+视频回放+全套源码笔 教学服务:模拟面试、就业指导、岗位内推、一对一答疑、远程指导 VIP终身服务一次购买,终身学习课程亮点:1. 学习方式灵活,不占用工作间:可在电脑、手机观看,随可以学习,不占用上班间2.老师答疑及:老师24小在线答疑3. 知识点覆盖全、课程质量高4. 精益求精、不断改进根据学员要求、随更新课程内容5. 适合范围广,不管你是0基础,还是拥有工作经验均可学习:0基础1-3年工作经验3-5年工作经验5年以上工作经验运维、开发、测试、产品、前端、架构师其他行业转行做技术人员均可学习课程部分项目截图   课程大纲 k8s+SpringCloud全栈技术:基于世界500强的企业实战课程-大纲第一章 开班仪式老师自我介绍、课程大纲介绍、行业背景、发展趋势、市场行情、课程优势、薪资水平、给大家的职业规划、课程学习计划、岗位内推第二章 kubernetes介绍Kubernetes简介kubernetes起源和发展kubernetes优点kubernetes功能kubernetes应用领域:在大数据、5G、区块链、DevOps、AI等领域的应用第三章  kubernetes中的资源对象最小度单元Pod标签Label和标签选择器控制器Replicaset、Deployment、Statefulset、Daemonset等四层负载均衡器Service第四章 kubernetes架构和组件熟悉谷歌的Borg架构kubernetes单master节点架构kubernetes多master节点高可用架构kubernetes多层架构设计原理kubernetes API介绍master(控制)节点组件:apiserver、scheduler、controller-manager、etcdnode(工作)节点组件:kube-proxy、coredns、calico附加组件:prometheus、dashboard、metrics-server、efk、HPA、VPA、Descheduler、Flannel、cAdvisor、Ingress     Controller。第五章 部署多master节点的K8S高可用集群(kubeadm)第六章 带你体验kubernetes可视化界面dashboard在kubernetes部署dashboard通过token令牌登陆dashboard通过kubeconfig登陆dashboard限制dashboard的用户权限在dashboard界面部署Web服务在dashboard界面部署redis服务第七章 资源清单YAML文件编写技巧编写YAML文件常用字段,YAML文件编写技巧,kubectl explain查看帮助命令,手把手教你创建一个Pod的YAML文件第八章 通过资源清单YAML文件部署tomcat站点编写tomcat的资源清单YAML文件、创建service发布应用、通过HTTP、HTTPS访问tomcat第九章  kubernetes Ingress发布服务Ingress和Ingress Controller概述Ingress和Servcie关系安装Nginx Ingress Controller安装Traefik Ingress Controller使用Ingress发布k8s服务Ingress代理HTTP/HTTPS服务Ingress实现应用的灰度发布-可按百分比、按流量分发第十章 私有镜像仓库Harbor安装和配置Harbor简介安装HarborHarbor UI界面使用上传镜像到Harbor仓库从Harbor仓库下载镜像第十一章 微服务概述什么是微服务?为什么要用微服务?微服务的特性什么样的项目适合微服务?使用微服务需要考虑的问题常见的微服务框架常见的微服务框架对比分析第十二章 SpringCloud概述SpringCloud是什么?SpringCloud和SpringBoot什么关系?SpringCloud微服务框架的优缺点SpringCloud项目部署k8s的流程第十三章 SpringCloud组件介绍服务注册与发现组件Eureka客户端负载均衡组件Ribbon服务网关Zuul熔断器HystrixAPI网关SpringCloud Gateway配置中心SpringCloud Config第十四章 将SpringCloud项目部署k8s平台的注意事项如何进行服务发现?如何进行配置管理?如何进行负载均衡?如何对外发布服务k8s部署SpringCloud项目的整体流程第十五章 部署MySQL数据库MySQL简介MySQL特点安装部署MySQL在MySQL数据库导入数据对MySQL数据库授权第十六章 将SpringCLoud项目部署k8s平台SpringCloud的微服务电商框架安装openjdk和maven修改源代码、更改数据库连接地址通过Maven编译、构建、打包源代码在k8s部署Eureka组件在k8s部署Gateway组件在k8s部署前端服务k8s部署订单服务k8s部署产品服务k8s部署库存服务第十七章 微服务的扩容和缩容第十八章 微服务的全链路监控什么是全链路监控?为什么要进行全链路监控?全链路监控能解决哪些问题?常见的全链路监控工具:zipkin、skywalking、pinpoint全链路监控工具对比分析第十九章 部署pinpoint服务部署pinpoint部署pinpoint agent在k8s中重新部署带pinpoint agent的产品服务k8s中重新部署带pinpoint agent的订单服务k8s中重新部署带pinpoint agent的库存服务k8s中重新部署带pinpoint agent的前端服务k8s中重新部署带pinpoint agent的网关和eureka服务Pinpoint UI界面使用第二十章 基于Jenkins+k8s+harbor等构建企业级DevOps平台第二十一章 基于Promethues+Alert+Grafana搭建企业级监控系统第二十二章 部署智能化日志收集系统EFK 
<think>我们正在解决Kubernetes中Pod就绪探针(ReadinessProbe)失败的问题。根据引用[1][2][3],我们可以知道就绪探针失败通常表现为HTTP状态码404或503等错误,这表示Kubernetes无法通过就绪探针的检查,因此Pod不会被标为就绪状态,也不会接收流量。常见原因及解决方法:1.**应用程序未启动或未监听指定端口**:-原因:Pod内的应用程序可能还未完全启动,或者没有监听就绪探针配置的端口。-解决方法:-检查应用程序的启动日志,确保应用程序已正确启动。-确认应用程序监听的端口与就绪探针配置的端口一致。-可以适当增加就绪探针的`initialDelaySeconds`(初始延迟间),给应用程序足够的启动间。2.**就绪探针配置错误**:-原因:就绪探针的配置(如路径、端口、HTTP头等)与应用程序的实际状况不匹配。-解决方法:-检查就绪探针的配置,包括`path`、`port`、`scheme`(HTTP/HTTPS)等。-确保探针路径在应用程序中存在且返回成功状态码(如200)。例如,如果配置的路径是`/health`,那么应用程序必须实现该端点。-使用`kubectlexec`进入Pod,手动执行探针检查(如使用`curl`命令)来验证。3.**网络问题**:-原因:可能是网络策略阻止了kubelet访问Pod,或者Pod内部的防火墙设置。-解决方法:-检查网络策略(NetworkPolicy)是否允许kubelet节点访问Pod。-在Pod内部使用`netstat`或`ss`命令检查监听情况,并使用`curl`或`wget`测试探针端点。4.**应用程序性能问题**:-原因:应用程序响应间过长,超过了就绪探针的超间(`timeoutSeconds`)。-解决方法:-优化应用程序性能,减少响应间。-整就绪探针的超间(`timeoutSeconds`)和周期(`periodSeconds`),确保在应用程序可接受的间内响应。5.**资源不足**:-原因:Pod可能由于CPU或内存不足而无法及处理请求。-解决方法:-检查Pod的资源使用情况(使用`kubectltoppod`)。-适当增加Pod的资源限制(resources.limits)或请求(resources.requests)。6.**应用程序逻辑错误**:-原因:应用程序的健康检查端点(如`/health`)存在逻辑错误,返回了错误的状态码。-解决方法:-检查应用程序的健康检查逻辑,确保在应用程序真正就绪才返回成功状态码。-如果应用程序依赖外部服务(如数据库),确保这些依赖服务可用,并在健康检查中正确处理。具体操作步骤:1.**查看Pod描述**:使用命令`kubectldescribepod<pod-name>`,查看事件(Events)和就绪探针的状态。重点关注是否有`Readinessprobefailed`的事件。2.**检查Pod日志**:使用命令`kubectllogs<pod-name>`查看应用程序日志,分析启动过程中是否有错误。3.**进入Pod手动检查**:```kubectlexec-it<pod-name>--sh```然后在Pod内部使用curl命令检查就绪探针的端点,例如:```curl-vhttp://localhost:<port>/<path>```4.**整就绪探针配置**:在Deployment或Pod的定义中,整就绪探针参数,例如:```yamlreadinessProbe:httpGet:path:/healthport:8080initialDelaySeconds:15#根据应用启动整periodSeconds:5timeoutSeconds:5successThreshold:1failureThreshold:3```5.**检查资源限制**:确保Pod有足够的资源,例如:```yamlresources:requests:memory:"128Mi"cpu:"250m"limits:memory:"256Mi"cpu:"500m"```通过以上步骤,通常可以定位并解决就绪探针失败的问题。§§相关问题§§1.如何Kubernetes就绪探针的配置参数?2.在Kubernetes中,就绪探针和存活探针有什么区别?3.如何为SpringBoot应用配置Kubernetes就绪探针?</think>### Kubernetes Pod 就绪探针(Readiness Probe)失败排查指南 #### 一、常见原因分析 1. **应用程序未就绪** - 应用启动间不足(如未完成数据加载)导致探针检查失败。 - 解决方法:延长 `initialDelaySeconds`(初始延迟间),示例配置: ```yaml readinessProbe: initialDelaySeconds: 30 # 等待30秒再开始检查 ``` 2. **探针配置错误** - 端口/路径不匹配:HTTP 探针访问的端口或路径(如 `/health`)未在应用中实现[^1][^3]。 - 协议错误:HTTPS 端点误配为 HTTP。 - 解决方法: ```yaml readinessProbe: httpGet: path: /ready # 确保路径存在 port: 8080 # 确保端口正确 scheme: HTTPS # 明确协议类型 ``` 3. **应用内部错误** - 健康检查接口返回非 200 状态码(如 404、503)[^1][^3]。 - 依赖服务(如数据库)未就绪导致应用健康状态异常。 - 解决方法: - 检查应用日志确认依赖状态:`kubectl logs <pod-name>` - 实现级联健康检查(验证依赖服务可用性)。 4. **资源不足** - CPU/内存限制(`resources.limits`)过小,导致应用无法响应探针。 - 解决方法:整资源配额: ```yaml resources: limits: cpu: "500m" memory: "512Mi" ``` 5. **网络问题** - 网络策略(NetworkPolicy)阻止 kubelet 访问 Pod。 - 解决方法:检查网络策略是否放行健康检查流量。 --- #### 二、诊断步骤 1. **查看 Pod 事件** ```bash kubectl describe pod <pod-name> ``` - 关注 `Events` 部分,定位类似错误: ``` Warning Unhealthy 2m (x10 over 5m) kubelet Readiness probe failed: HTTP probe failed with statuscode: 404 ``` 2. **手动验证探针端点** ```bash # 进入 Pod 执行测试 kubectl exec -it <pod-name> -- curl http://localhost:<port>/<path> ``` - 预期返回 HTTP 200 状态码。 3. **检查应用日志** ```bash kubectl logs <pod-name> --tail=100 ``` - 分析应用启动日志中的错误(如依赖服务连接失败)。 --- #### 三、解决方案总结 | 问题类型 | 解决措施 | |-------------------|--------------------------------------------------------------------------| | 启动延迟 | 增加 `initialDelaySeconds` | | 路径/端口错误 | 修正 `readinessProbe.httpGet.path/port` | | 应用返回错误码 | 修复健康检查接口逻辑(确保返回 200)[^1] | | 资源不足 | 提高 `resources.limits` | | 依赖服务未就绪 | 添加启动依赖检查或重试机制 | | 网络隔离 | 整 NetworkPolicy 允许 `kubelet` 访问 | > **关键配置示例**: > ```yaml > readinessProbe: > httpGet: > path: /health/ready > port: 8080 > initialDelaySeconds: 20 > periodSeconds: 5 # 每5秒检查一次 > failureThreshold: 3 # 连续失败3次标未就绪 > ``` --- #### 四、预防措施 1. **标准化健康端点**:为所有应用统一实现 `/health` 接口。 2. **渐进式就绪**:使用 `startupProbe` 保护慢启动应用。 3. **压力测试**:在部署前模拟资源不足场景验证探针鲁棒性。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值