Java 微服务随机掉线排查过程

SpringCloud 微服务随机掉线排查过程 9. 翻看 nacos-client 源码,找到心跳函数(nacos2.x 不是这个),使用 arthas 监听心跳包,尝试能找到心跳丢失的证据,贴上当时的记录。奇迹发生了,服务又恢复正常了。5. 上文提到我使用的 springcloud 版本,恰好这个版本的 nacos-client 版本就是 1.4.1, 于是立马测试升级。进阿里云控制台查看故障机器近期的各项指标,但是发现故障机器的指标有重要的几项丢失。调试过程也是苦乐参半,乐的是突然有了调试思路,苦的是思路是一条死胡同,还好最终结果是满意的。 阅读详情

点击上方“芋道源码”,选择“设为星标”

管她前浪,还是后浪?

能浪的浪,才是好浪!

每天 10:33 更新文章,每天掉亿点点头发...

源码精品专栏

 

来源:cnblogs.com/lyalong/

p/17089373.html

86e05b2b7b46690ade0b3e2dc8f1bd2a.jpeg


背景

我们的业务共使用 11 台(阿里云)服务器,使用 SpringcloudAlibaba 构建微服务集群, 共计 60 个微服务, 全部注册在同一个 Nacos 集群。

流量转发路径:nginx -> spring-gateway -> 业务微服务。

使用的版本如下:

  • spring-boot.version:2.2.5.RELEASE

  • spring-cloud.version:Hoxton.SR3

  • spring-cloud-alibaba.version:2.2.1.RELEASE

  • java.version:1.8

基于 Spring Boot + MyBatis Plus + Vue & Element 实现的后台管理系统 + 用户小程序,支持 RBAC 动态权限、多租户、数据权限、工作流、三方登录、支付、短信、商城等功能

  • 项目地址:https://github.com/YunaiV/ruoyi-vue-pro

  • 视频教程:https://doc.iocoder.cn/video/

案发

春节放假期间收到反馈,网页报错服务未找到(gateway 找不到服务的报错提示)。查看 nacos 集群列表,发现个别服务丢失 (下线)。

这个问题每几天出现一次, 出现时间不固定, 每次掉线的服务像是随机选的几个。服务手动 kill+restart 后能稳定运行 2-3 天。

基于 Spring Cloud Alibaba + Gateway + Nacos + RocketMQ + Vue & Element 实现的后台管理系统 + 用户小程序,支持 RBAC 动态权限、多租户、数据权限、工作流、三方登录、支付、短信、商城等功能

  • 项目地址:https://github.com/YunaiV/yudao-cloud

  • 视频教程:https://doc.iocoder.cn/video/

排查和解决

怀疑对象一:服务器内存爆了

进阿里云控制台查看故障机器近期的各项指标,但是发现故障机器的指标有重要的几项丢失。内存使用率、CPU 使用率、系统负载均不显示。

e776e0ed3b6059123dd332f5fc195298.jpeg

控制台看不了只好进服务器内查看各指标,free -m 查看内存无异常。提交阿里工单。授权阿里工程师帮忙修复控制台显示问题,怀疑这个问题对业务有影响。

f596eb36a7060564e7cf9636ef094ec0.jpeg

控制台修复后掉线问题依然存在。

怀疑对象二:CPU满载

能感觉到执行命令很流畅,所以感觉不是这个原因。top 查看后很正常。

怀疑对象三:磁盘满了

虽然概率很小,但是 du -sh * 看一下,发现磁盘容量还能用到公司倒闭。

怀疑对象四:网络有问题
  • 服务器那三个基本故障暂时排除后,最大怀疑对象就是网络。毕竟服务掉线肯定是服务端一段时间内接收不到客户端心跳包,所以把客户端踢下线了。

  • 通过 telnet,mtr -n ...,netstat -nat |grep "TIME_WAIT" | wc -l 这些命令也只能看个大概。

  • echo "1" > /proc/sys/net/ipv4/tcp_tw_reuse 修改内核参数,开启 TIME_WAIT socket 复用能力,提升实例的网络发送请求性能。

  • 查看 nacos 客户端(微服务)的日志,在前面案发里提到没有日志记录。

怀疑对象五:Nacos 集群服务端故障
  1. 查看 nacos 集群部署的那几台服务器, 查看服务器基础指标 (内存、CPU、磁盘等),未发现异常 (毕竟还有几十个微服务都很正常工作)。
  2. 查看 nacos 服务端日志,发现确实有主动下线服务操作。那就奇怪了,这个机器上的有些服务还在正常工作,为什么会随机下线几个服务呢?

怀疑对象六:微服务占用资源太多

后来仔细想想,这个怀疑对象是不是有点离谱了? 因为部署脚本都是同一个,而且负载均衡也是一样的。 但其他机器的这个服务都好好的。

  1. 调大每个微服务的内存占用。

  2. 添加堆栈打印。

35a65706bd31c6f2131618ea03f885d8.jpeg
  1. 等待一段时间后,异常依然存在,并且没有堆栈打印?因为进程好好的并没退出。

  2. google 搜索 nacos 服务掉线,找到一篇看起来极其靠谱的文章。

718fc0334e50b8a5807c974d149350e2.jpeg
  1. 上文提到我使用的 springcloud 版本,恰好这个版本的 nacos-client 版本就是 1.4.1, 于是立马测试升级。

0544c9c7014119317d3c85270849b681.jpeg
  1. 观察几天后,发现问题依旧,只能将探查方向继续转回微服务本身。

  2. 用 arthas 进行勘测各项指标,发现所有正常的服务各指标均正常。

  3. 想到服务掉线大概率是因为心跳包丢失,怀疑是心跳线程因为某些原因被杀死了。

  4. 翻看 nacos-client 源码,找到心跳函数(nacos2.x 不是这个),使用 arthas 监听心跳包,尝试能找到心跳丢失的证据,贴上当时的记录。

25553cd1c92a7686cd7e60475adca237.jpeg 9690122702ff2343fa5a1395d37f3afc.jpeg 025de2187e1e07a206f32a53b66f4b09.jpeg
  1. 当异常再次发生,arthas 监听卡死,无任何记录和响应。

  2. 无奈更换思路,写一个监听服务掉线的程序,期望可以在工作时间内及时获取到异常。

f2c11e39e087538320f00573be9b05e1.jpeg
  1. 终于在工作时间捕获到异常,第一时间进入服务器内查看情况。

a7771459199354c16560d5acb6058146.jpeg
  1. 确认服务器基础项没问题后,使用 arthas 查看服务进程堆栈情况,但是 arthas 无法进入进程。

e43d17dba9e74e04229dd0e471f9c574.jpeg
  1. 用 jstat 查看 GC 情况,显示很正常。

ccd0e65c28548225626c56c797ea73c1.jpeg
  1. 用 jmap/jstack 输出堆栈 jstack -l 25944 >heap.txt,但是提示无法进入进程。无奈使用添加 - F(这个参数的堆栈少了很多信息),jstack -F -l 25944 >heap.txt

  2. 查看堆栈文件上万行记录,眼都看花了但是没有死锁也没有发现异常。

  3. 此时发现监听程序提示服务上线了?检查后发现确实掉线的几个微服务自动恢复了,心想这就难排查了。

  4. 尝试复现 Bug,此时离第一次案发已经过去一周多,必须尽快处理好这个 Bug 否则可能得被迫离职了。

  5. 当第二次发生异常的时候,使用同样的方式 arthas 无法进入 ->...->jstack 输出堆栈。奇迹发生了,服务又恢复正常了。

  6. 思考 / 猜测:因为 JVM 死了(假死),所以导致进程中的一切内容,包括心跳线程、日志等都 hold 住。

  7. Google 搜索关键词 JVM 停止(假死)排查,终于找到一个极其靠谱的回答。

d3f2a4a2558582d3079a2d9bc633f582.jpeg
  1. 连忙查看对比使用的几个机器内核版本号 uname -r。

0c59da9ef736d4c1d7c736d0d9362527.png 353370a69e1ec70857ccd73d13499c69.jpeg
  1. 那个低版本的就是故障机器,确认相关信息后,联系阿里云提交工单。

da6a60c224ebae6a15a6177ebece4851.jpeg
  1. 升级完内核并重启机器后,观察两天至今这个问题不存在了。谁能想到这个问题居然是因为 Linux 内核的 Bug 引起的?!不得不佩服第一个发现这个 Bug 的大佬。

87343c3be3d73925ebd6f5fdd30cc24b.jpeg

完结感言

这个问题折磨了一周多,每日如鲠在喉!调试过程也是苦乐参半,乐的是突然有了调试思路,苦的是思路是一条死胡同,还好最终结果是满意的。

作为一名程序员,还是要时刻保持一颗探索的心,学海无涯!



欢迎加入我的知识星球,一起探讨架构,交流源码。加入方式,长按下方二维码噢:

2795162ab46aff8b091415f96a1dd22a.png

已在知识星球更新源码解析如下:

e0a0fc671cb4ce63d290fa60e35f8cf4.jpeg

ce9355166f98d487043d676d6540771d.jpeg

2fa6bef79bf27def183e8156847e03aa.jpeg

507ce36adf73e6360c65bf20980e5d25.jpeg

最近更新《芋道 SpringBoot 2.X 入门》系列,已经 101 余篇,覆盖了 MyBatis、Redis、MongoDB、ES、分库分表、读写分离、SpringMVC、Webflux、权限、WebSocket、Dubbo、RabbitMQ、RocketMQ、Kafka、性能测试等等内容。

提供近 3W 行代码的 SpringBoot 示例,以及超 4W 行代码的电商微服务项目。

获取方式:点“在看”,关注公众号并回复 666 领取,更多内容陆续奉上。

文章有帮助的话,在看,转发吧。
谢谢支持哟 (*^__^*)
实用 Java微服务随机掉线排查思路解析 输出堆栈jstack -l 25944 >heap.txt,但是提示无法进入进程,无奈使用添加-F(这个参数的堆栈少了很多信息),jstack -F -l 25944 >heap.txt。23.升级完内核并重启后机器后,观察两天至今,这个问题不存在了,谁能想到这个问题居然是因为Linux内核的BUG引起的,不得不佩服第一个发现这个BUG的大佬。1.进阿里云控制台查看故障机器近期的各项指标,但是发现故障机器的指标有重要的几项丢失,内存使用率,cpu使用率,系统负载均不显示。,arthas无法进入->… 阅读详情

相关推荐

Linux内核Bug导致微服务随机掉线:一次完整的线上故障排查实录

在微服务架构中,服务注册与发现是保障系统高可用的核心机制,其原理依赖于客户端向注册中心(如Nacos)周期性发送心跳以维持健康状态。当心跳超时,服务端会将其剔除,从而实现故障实例的自动隔离,这对保障分布式系统的弹性至关重要。然而,在实际工程实践中,心跳丢失可能并非由应用层bug或网络抖动引起,有时根因潜藏在更底层的操作系统内核。某些Linux内核版本存在已知的内存管理或进程调度缺陷,可能导致运行其上的JVM进程发生短暂但完全的“停顿”(JVM Pause)。这种停顿并非由垃圾回收(GC)引起,因此GC日志表

weixin_33730836的博客 475

Java实现心跳机制

一、心跳机制简介 在分布式系统中,分布在不同主机上的节点需要检测其他节点的状态,如服务器节点需要检测从节点是否失效。为了检测对方节点的有效性,每隔固定时间就发送一个固定信息给对方,对方回复一个固定信息,如果长时间没有收到对方的回复,则断开与对方的连接。 发包方既可以是服务端,也可以是客户端,这要看具体实现。因为是每隔固定时间发送一次,类似心跳,所以发送的固定信息称为心跳包。...

weixin_30845171的博客 1341

微服务日志体系:用TraceID解决排障难题

微服务架构下,一次请求跨越多个服务、多份日志文件,传统按时间tail日志的排障方式早已失效,日志之间缺乏关联成为排障最大阻碍。生产级日志体系的核心在于通过TraceID将跨服务调用串成一条线,并配合统一的JSON格式、合理的日志级别与采样策略,构建从采集、传输到存储查询的完整链路。理解日志关联原理与技术选型(如ELK、Loki)的价值,才能在实际故障中快速定位问题。无论是网关超时、数据库连接池等待,还是异步线程丢失上下文,规范的日志设计都能让排障从“猜谜”变为“按图索骥”。本文结合真实案例,剖析微服务日志体

weixin_34049948的博客 517

springcloud单个微服务内存占用过高的问题

本质 docker容器占用内存是自己加上服务 默认情况,docker内的java服务给自己设置的jvm栈空间是服务器的1/4 解决方案 配置java的jvm值就好了 参考 https://blog.youkuaiyun.com/August_AC/article/details/98964089 https://www.jianshu.com/p/483df07eea07 ...

qq_42031483的博客 6657

微服务与分布式面试核心:从Nacos到Redis分布式锁与Seata实战

分布式架构的底层逻辑在于将单进程调用拆分为跨网络协作,由此带来服务发现、数据一致性、并发控制等一系列工程挑战。理解CAP与BASE理论是掌握微服务技术选型的根基,而Nacos作为注册与配置中心,Redis分布式锁与Seata事务框架则是解决具体问题的关键工具。从服务拆分到流量治理,从幂等设计到缓存穿透,这些知识点共同构成了分布式系统落地的核心技能树。本文围绕微服务与分布式面试高频考点,梳理从原理到实战的完整路径,帮助读者建立架构决策思维。

weixin_33901926的博客 517

Nacos微服务治理实战:从核心原理到生产级部署与Spring Cloud整合

在分布式系统和微服务架构中,服务注册与发现、配置管理是两大核心基础能力,它们共同构成了服务治理的基石。其核心原理在于通过一个中心化的注册中心,动态管理服务实例的元数据与状态,实现服务间的解耦与弹性调用;同时,配置中心将应用配置外部化、集中化,支持动态刷新,提升了系统的可维护性和灵活性。这项技术的核心价值在于极大地简化了服务间通信的复杂度,并实现了配置的实时、一致管理,是构建高可用、易扩展的云原生应用的关键支撑。其典型应用场景包括微服务架构下的服务发现、流量管理、多环境配置隔离以及灰度发布等。本文聚焦于阿里巴

weixin_30240349的博客 424

linux布置微服务导致内存不足的解决

linux布置微服务导致内存不足 现象:前段时间发现某台开发机上各个微服务进程占用内存很高,经常出现某个服务挂掉的现象,这里记录下解决思路方案,仅供参考。 查看发现服务器剩余内存很小 free -m 这是台测试服务器,内存本来就小,但是运行的服务挺多,包括一个微服务和springboot项目,本身微服务就很占内存,几个微服务项目的服务直接就把服务器内存占光了,所有新增了springboot项目后经常出现某个服务挂掉的现象。 所以想着看看能不能较少某个服务的分配内存来增加项目存活的可能性。 解决问题之前

duke_pan的博客 2047

Cookie、Session与Token:Web认证机制演进与安全实践

Web认证机制是保障应用安全的核心基础,其本质是在无状态的HTTP协议之上构建有状态的会话管理。从原理上看,认证技术经历了从客户端存储到服务端存储,再到无状态令牌的演进,核心在于平衡安全性与扩展性。Cookie作为HTTP的‘记忆面包’,通过键值对在客户端存储状态,但需配合HttpOnly、Secure、SameSite等属性防御XSS与CSRF攻击;Session将会话数据安全存放于服务端,通过Session ID进行关联,解决了敏感信息暴露问题,但引入了分布式会话共享的挑战;Token方案(如JWT)采

weixin_34221276的博客 335

「微服务架构」我们如何设计配额微服务来防止资源滥用

我们如何设计配额微服务来防止资源滥用随着业务的增长,Grab的基础设施已经从一个单一的服务变成了几十个微服务。这个数字很快就会以数百的形式出现。随着我们的工程团队并行发展,拥有一个微服务框架可以提供更高的灵活性、生产力、安全性和系统可靠性。团队与客户定义服务水平协议(SLA),即服务的API接口及其相关性能指标的规范。只要保持sla,各个团队就可以专注于他们的服务,而不必...

全网:架构师研究会 439

快速入门:使用 SQL Server Management Studio (SSMS) 连接和查询 SQL Server 实例

开始使用 SQL Server Management Studio (SSMS) 连接到 SQL Server 实例并运行一些 Transact-SQL (T-SQL) 命令。本文介绍如何连接和查询实例SQL Server。有关 Azure SQL,请参阅连接。若要使用,请参阅连接和查询。若要详细了解如何SQL Server Management Studio,请参阅其他。......

m0_72938729的博客 5731

深入解析Android SoundTrigger架构:从HIDL到AIDL的演进与实践

本文深入解析Android SoundTrigger架构,从HIDL到AIDL的演进与实践。SoundTrigger是Android系统中低功耗语音唤醒的关键技术,通过分层设计和硬件协同实现高效语音识别。文章详细介绍了核心组件、HIDL与AIDL的对比及优化技巧,帮助开发者掌握语音模型优化和功耗管理。

brown的博客 232

微服务Docker部署,占用内存居高不下

微服务Docker部署,占用内存居高不下

IT民工 2086

Ubuntu22.04 网络图标消失与连接故障排查指南(附实战修复流程)

本文详细介绍了Ubuntu22.04系统中网络图标消失与连接故障的排查与修复方法。通过ifconfig、dhclient等命令诊断问题,提供从紧急恢复网络连接到深度排查的完整解决方案,帮助用户快速恢复网络功能并预防类似问题再次发生。

weixin_28481133的博客 289

Java微服务随机掉线排查思路

Java微服务

weixin_52437323的博客 379

ArcGIS:根据DEM数据提取区域水系

利用DEM数据提取区域水系是常见的水文分析应用,为了获取区域的矢量水系数据,我们可以通过ArcGIS对高程DEM数据进行水文分析,为地表水流建立模型,进而获取到该地的水系数据,DEM数据精度越高,获取到的水系数据精度也就越高。以下介绍如何用ArcGIS提供的工具提取水系。

Oruizn的博客 9111

【云迁移工具RDA】迁移常见问题

Agent无法正常启动,Linux系统提示“SMS.0201 Failed to start sms agent!”,Windows系统提示“SMS.0201 源端主机网络繁忙,无法连接api网关”。该问题通常是由于源端没有通公网,或者没有按照要求配置hosts,无法与iam或者sms通信导致。需要排查源端网络。1.登录源端服务器。2.检查源端是否能正常访问互联网,若无法访问,请处理后重新启动Agent。可参考弹性公网IP Ping不通检查源端的DNS,防火墙,安全组、本地网络等。

2404_89358774的博客 1487

CTO:假如Java微服务随机掉线,你会怎么排查?

春节放假期间,收到反馈,网页报错服务未找到(gateway找不到服务的报错提示). 查看nacos集群列表,发现个别服务丢失(下线). 这个问题每几天出现一次,出现时间不固定,每次掉线的服务像是随机选的几个. 服务手动kill+restart后能稳定运行2-3天

weixin_50205273的博客 688

逆向攻防世界CTF系列40-ReverseMe-120

注意sub_401000main中只传了两个参数,但是跟进后发现四个(可能是隐式传递,放在寄存器里传递了),调试发现a4是输入长度,与最终的you_know_how_to_remove_junk_code比较的是v12(但是并没有被传入),开始怀疑是不是隐式传递了。_mm_xor_si128用于计算128位(16字节)的按位异或,然后通过v14控制循环结束的条件,可以看到v14增长的步长为16,而且通过上面得到的flag值解码得到的字符串为32个字节大小,正好是16的整数倍。

LH1013886337的博客 1411

生产服务随机掉线,问题排查的快吐血了

我们的业务共使用 11 台(阿里云)服务器,使用 SpringcloudAlibaba 构建微服务集群, 共计 60 个微服务, 全部注册在同一个 Nacos 集群。流量转发路径:nginx -> spring-gateway -> 业务微服务。使用的版本如下:放假期间收到反馈,网页报错服务未找到(gateway 找不到服务的报错提示)。查看 nacos 集群列表,发现个别服务丢失 (下线)。这个问题每几天出现一次, 出现时间不固定, 每次掉线的服务像是随机选的几个。

IT_1024的博客 1008

比较器和运算放大器-2

今天继续了解输入阻抗问题,观察下图:首先考虑在我们没有接运放时,A点输出电压为6V,当接入如图所示的阻抗时电压还是6V吗?共模电阻和红框内对地电阻并联,阻值变小,相当于5k,通过计算可以求得A点电压变为4V,这样A的值发生了改变,试想一下这样的信号接入到运放的两端是不是相当于比较的两端信号发生了改变,那结果一定会发生偏离。信号源一般内阻是不确定的,一般也不是很小,如果不想改变输入阻抗,那唯一的办法就是改变运放的内阻了,比如内阻改为100K,1M等,越大越好,是不是A点电压就会无限接近6V。

weixin_42855218的博客 1312

Open3D 计算点云法向量的夹角【2026最新版】

计算法向量的夹角,博客长期更新,本文最新更新时间为:2026年3月7日。

点云侠的博客 3131

记一次k8s上nacos崩溃

记一次k8s上nacos崩溃

qq_25037905的博客 3474

文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况

主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。

Nacos从入门到生产:微服务注册发现与配置管理实战指南

在微服务架构中,服务发现与配置管理是保障系统弹性和可维护性的核心基础。服务发现机制通过中心化注册表,实现了服务实例的动态感知与透明寻址,解决了传统硬编码地址带来的运维难题。其技术价值在于支撑了服务的弹性伸缩、故障自愈和负载均衡,是构建高可用分布式系统的基石。配置管理则通过中心化存储与动态推送,实现了应用参数的统一管理与实时生效,大幅提升了发布效率和运维灵活性。这些能力在电商、金融、物联网等需要快速迭代和稳定运行的场景中尤为重要。本文聚焦于阿里巴巴开源的Nacos,它集服务发现与配置管理于一体,通过深入解析其

weixin_30572613的博客 486

IDEA的使用指南

IDEA基于java的使用手册,可以最快速的上手,在使用中不断的丰富自己的使用技巧.

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

上一篇: SpringBoot+Vue 实现网页版人脸登录、人脸识别,逼格很高!!!
下一篇: 感受 lambda 之美!
公众号-芋道源码
博客等级 码龄10年 1639粉丝 377原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值