没错,使用 Nacos 踩坑了

Spring Cloud Alibaba+Nacos 2.0.2踩坑实录:GRPC端口冲突的3种解决方案 本文针对Spring Cloud Alibaba集成Nacos 2.0.2时常见的GRPC端口冲突问题,深入剖析了问题根源在于Nacos 2.0引入GRPC协议及默认端口偏移机制。文章提供了三种实用解决方案:开放防火墙端口、调整端口偏移量以及版本回退,并对比了各方案的优劣与适用场景,帮助开发者高效解决这一典型部署难题。 阅读详情

点击上方“芋道源码”,选择“设为星标”

管她前浪,还是后浪?

能浪的浪,才是好浪!

每天 8:55 更新文章,每天掉亿点点头发...

源码精品专栏

 

问题发现

就在这周,我接到 MSE Nacos 用户的反馈,说线上 Nacos 不可用,服务都下线了,日志里面也是一堆报错,我下意识以为线上炸了,赶紧上线排查。本文主要记录这次问题的排查过程,以及解决方案。

首先看用户反馈的报错,日志如下:

图片

并且用户反馈业务日志也出现了大量的服务地址找不到的报错,说明 Nacos 服务都下线了。

我立刻查看了服务端的监控,发现用户的 MSE Nacos 集群并无异常,cpu/内存等指标有下降,并没有异常行为,排除了服务端异常的可能性。

随即将视线聚焦在了客户端。老实说,这个报错我第一次见,看异常堆栈,字面意思便是域名解析出问题了。这个报错大概持续了 10 分钟,立刻让用户在业务节点上使用 ping、dig 等工具确认域名解析是否正常,测试发现均无异常。继续让用户 telnet mse-xx.com 8848,发现也能够 telnet 通。

根据这些现象,大概能得出结论:用户的机器上出现了短暂的域名解析问题,导致短时间访问不通 MSE Nacos。但用户继续反馈说,一部分重启以后的机器已经恢复了,但没有重启的机器,竟然还会出现调用报错。不然怎么说重启大法好呢,但也加深了问题的诡异性。

正当一筹莫展时,另一用户也找上来了,竟然也是一样的问题,并且由于第二个用户还同时使用了 redis,报错日志中除了出现 nacos 的域名解析问题,还报了 redis 的域名解析报错。至此,更加坚定了我之前推测,根因肯定是域名解析出现了故障,导致这两个用户收到了影响。但问题在于,为什么短暂的域名解析失败(大概 10 分钟),会导致持续性的 Nacos 问题呢?并且只有重启才能恢复。

分析两个用户的共性,最终我和同事将可疑点锁定在了 Nacos 客户端版本上,对比发现,用户都是同一个报错,并且竟然都是 nacos-client 1.4.1 版本。

Nacos 1.4.1 版本引入的 bug

在问题发生时,Nacos 1.x 最新的版本已经是 Nacos 1.4.2 了,将源码 checkout 到 1.4.1 版本,追踪堆栈附近的问题,

图片

上述这段代码是 Nacos 访问服务端的一段代码,进入 595 行,一探究竟。

图片

我们成功找到了堆栈中的直接报错,就是这段 IsIPv4 的判断触发。splitIPPortStr 这个方法的主要逻辑是从 Nacos 的连接串筛选出连接地址,主要是为了做默认端口号的判断,如果用户没有携带 8848,会默认带上 8848。

但问题恰恰便是出现在这儿:

图片

InetAddress.getByName(addr) 是一个内置的方法,描述如下:

Given the name of a host, returns an array of its IP addresses, based on the configured name service on the system.

意思是把一个域名传给操作系统,返回一串 IP,这不就是域名解析吗!我当时就很好奇,你说你判断 IPv4 格式,为啥要这么判断呢?直接判断 IPv4 的 pattern 不行吗?而这段代码,恰恰是导致问题的凶手之一。

我们看看 1.4.2,已经修复了这个逻辑了,直接改成了正则判断。

图片

但疑问还是存在的,域名解析短暂失败了,为啥会导致服务全都下线了,并且解析恢复后,服务依旧没有上线呢?

继续追踪这段代码,发现 callServer 这段代码会被 com.alibaba.nacos.client.naming.beat.BeatReactor 持有,用于维持自身和 Nacos 的心跳。

图片

而由于上述域名解析失败,抛出的异常是 IllegalArgumentException,并没有被里层方法转换成 NacosException,从而导致心跳线程没有 catch 住异常,彻底停止发送心跳了!

这也就成功解释了,为什么短暂的域名解析失败,会导致服务全部下线了。(Nacos 是利用心跳维护和 server 端的存活状态的)

改进建议

  1. 修改 isIPv6 和 isIPv4 的判断方式,改为正则匹配。上文提及,这点已经在 1.4.2 修复了。

  2. 心跳线程要保证不被异常中断下一次心跳的提交。

图片

第二点,也已经被修复了。

总结

nacos-client 1.4.1 存在严重的 bug,客户端与 Nacos Server 如果发生短暂的域名解析问题,会导致心跳永久丢失,进而引发服务全量下线,即使网络恢复,也不会自动恢复心跳。

域名解析失败常见于网络抖动或者 K8s 环境下的 coreDNS 访问超时等场景,为避免域名解析对 Nacos 造成的重大影响,请务必自查应用代码中使用的 nacos-client 的版本。

该问题仅存在于 1.4.1 版本,低于此版本不受此问题的影响,使用 1.4.1 的用户建议升级至 1.4.2 以避免此问题。

使用 SpringCloud/Dubbo 的用户,需要确认实际框架使用的 nacos-client 版本,可以通过显式指定 nacos-client 的版本以覆盖框架默认的版本。其中 Dubbo 用户要格外小心,Dubbo 的 2.7.11 版本默认使用了 nacos-client 1.4.1,务必显式指定 nacos-client 的版本到 1.4.2,Dubbo 也将在下个 release 版本替换 Nacos 的默认版本。

- END -

欢迎加入我的知识星球,一起探讨架构,交流源码。加入方式,长按下方二维码噢:

已在知识星球更新源码解析如下:

最近更新《芋道 SpringBoot 2.X 入门》系列,已经 20 余篇,覆盖了 MyBatis、Redis、MongoDB、ES、分库分表、读写分离、SpringMVC、Webflux、权限、WebSocket、Dubbo、RabbitMQ、RocketMQ、Kafka、性能测试等等内容。

提供近 3W 行代码的 SpringBoot 示例,以及超 4W 行代码的电商微服务项目。

获取方式:点“在看”,关注公众号并回复 666 领取,更多内容陆续奉上。

文章有帮助的话,在看,转发吧。
谢谢支持哟 (*^__^*)
若依微服务架构实战:从Nacos配置到前端联调的避坑指南 本文是一份针对若依微服务架构的实战避坑指南,重点解析了从Nacos配置到前端联调的关键步骤。文章详细探讨了Nacos版本兼容性、服务注册失败排查、前端代理配置以及业务模块扩展等常见问题,并提供了具体的解决方案,帮助开发者高效搭建和调试若依微服务项目。 阅读详情

相关推荐

SpringCloudAlibaba+Nacos2.0.2踩坑实录:Grpc端口冲突的3种解决方案

本文针对SpringCloudAlibaba集成Nacos 2.0.2时常见的gRPC端口冲突问题,提供了三种实用解决方案:回退客户端版本以快速止血、开放防火墙端口以拥抱新特性、或自定义gRPC端口偏移量以应对环境约束。文章深入剖析了问题根源在于Nacos 2.x引入的gRPC通信机制与端口偏移策略,并给出了详细的配置步骤与版本兼容性对照,帮助开发者系统性解决此类架构升级中的兼容性挑战。

weixin_29230059的博客 310

阿里云AccessKey泄露以及nacos1.4.2漏洞修复

也已经修改了(默认值为:SecretKey012345678901234567890123456789012345678901234567890123456789),且使用了默认值构造JWT来调用接口/nacos/v1/auth/users?pageNo=1&pageSize=9,调用失败,证明也不是这个默认值的问题,排除。起因:每隔一段时间阿里云就会报AccessKey泄露了,但是并没有在代码中写AccessKey,后来发现在nacos中多了个新用户,是之前没有添加过的。1.检查是否开启了鉴权。

JFENG14的博客 1026

基于Nacos的Agent与MCP服务化治理实践

本文详细介绍了如何利用Nacos服务发现平台对AI应用中的Agent和MCP服务进行服务化治理。通过将Agent和MCP Server视为特殊微服务,实现自动注册、发现与负载均衡,有效解决了AI服务部署、调用和管理中的痛点,并提供了基于Spring AI Alibaba的完整实践方案。

weixin_29256771的博客 586

nacos 1.4.2升级到nacos 2.1.1遇到的一些坑

为了各组件更好的的兼容,最近系统进行了nacos升级, 由1.4.2升级为2.1.1,这里把遇到的一些坑做一下记录。

smilehappiness的博客 3109

SquareLine Studio汉化版安装激活全攻略:LVGL嵌入式UI设计从入门到出代码

嵌入式GUI开发中,LVGL作为轻量级开源图形库,广泛应用于STM32、ESP32等MCU平台。可视化设计器通过拖拽生成LVGL代码,大幅提升UI开发效率。SquareLine Studio正是这类工具的代表,支持界面设计、事件绑定与代码导出。其安装、汉化与激活是初学者常见门槛,尤其涉及LVGL版本匹配、字体配置及FreeRTOS移植等关键环节。本文围绕汉化版安装、一个月免费激活码使用及最小可用流程展开,帮助开发者快速上手LVGL界面设计,规避常见环境与集成问题。

weixin_29189987的博客 431

深入解析DDR5 SDRAM中的CA训练模式(CATM):原理与实现

本文深入解析DDR5 SDRAM中的CA训练模式(CATM),详细探讨其工作原理与实现方法。通过分析JESD79-5标准,揭示CATM在时序校准、信号质量优化和系统稳定性方面的核心价值,并提供硬件设计考量和系统级调试技巧,帮助工程师解决高速内存系统中的信号完整性问题。

weixin_29235923的博客 387

Nacos Config 2023版依赖获取配置问题

去除nacos前缀。得到uri之后,进行获取dataId,这个方法就是获取dataId的。截取出主机地址后的路径,即去除nacos前缀的。设置正确的dataId;并且不会添加默认的后缀,该值设置为什么,nacos的配置文件名称就是什么。:通过报错打印信息,查看源码。可以看到是一个dataIdFor函数抛出异常。其中,uri为前面进行处理的地址。根据其他教程的配置来写,发现项目启动抛异常:illegal dataId。新版的nacos config跟之前的版本变化不少。,作为dataId。

qq_62436070的博客 1080

Matlab实战:手把手教你用Zernike多项式模拟光学像差(附完整代码)

本文详细介绍了如何在Matlab中使用Zernike多项式模拟光学像差,包括基础理论、不同排序系统的实现、完整代码示例以及高级应用技巧。通过Zernike多项式,可以有效地描述和分析光学系统中的波前畸变,适用于望远镜校正、眼科光学等多个领域。

weixin_42523720的博客 162

你的Nacos还在裸奔吗?Nacos权限绕过漏洞

大家好,我是不才陈某~目前nacos越来越广泛,大多数的企业在使用微服务架构的时候,基本上都会选择nacos作为注册中心和配置中心。那nacos其实也是阿里开源的一个项目,存在漏洞,至少难免的。那我们今天就来分享一下nacos存在的漏洞问题,主要是一些安全漏洞的问题。毕竟现在很多政务的项目,都会做等保测试这块。等保做得多了,漏洞也就多了。这不,今天就又有一个漏洞了。那就开始修复喽!!!1.naco...

码猿技术专栏 7511

告别TwinCAT:手把手教你用IgH EtherCAT Master在LinuxCNC上搭建实时运动控制平台

本文详细介绍了如何利用IgH EtherCAT Master和LinuxCNC搭建开源实时运动控制平台,替代商业软件TwinCAT。通过分步指南,包括实时Linux环境配置、EtherCAT主站安装、LinuxCNC集成及多轴同步控制实现,帮助开发者构建高性能、低成本的工业自动化解决方案。

weixin_42641741的博客 403

ESP32固定翼航模硬件设计与飞行力学解析

固定翼无人机是嵌入式控制与空气动力学交叉实践的经典载体,其飞行稳定性本质源于重心、气动中心与控制面的物理耦合关系。理解静稳定度(Static Margin)、升力系数调控、偏航力矩生成等基础原理,是实现可靠姿态控制的前提。在低成本工程约束下,材料刚度、结构弹性与电机-驱动协同设计共同决定了系统动态响应边界。ESP32平台凭借高精度PWM、低功耗双模无线及丰富GPIO,成为教学级航模开发的理想主控;而魔术贴基板、可调电池配重、柔性尾翼等创新结构,则将抽象的飞行力学概念转化为可测量、可调试的实体对象,广泛应用于

weixin_29859471的博客 366

nacos连接cpu暴增

nacos连接cpu暴增 一个项目遇到一个nacos问题,经常导致cpu暴增从而死机 com.alibaba.nacos.client.Worker.fixed-10.254.108.164_88-c8adf6e3-cc0a-4ff0-a91e-854f5c670690" #46404 daemon prio=5 os_prio=0 tid=0x00007f20f005e800 nid=0x7dc...

海的博客 5876

DRAM刷新refresh相关知识归类-基础小知识(三)

RAM每一位数据都是通过芯片内的一个小电容充电(或低电平)存储的。但随着时间的推移,电容逐渐失去电荷。为避免丢失存储的数据,必须定期刷新以将电荷(如果存在)恢复到其原始级别。此刷新过程包括读取每个位的值,然后将其写回。在此“刷新”期间,内存被占用,无法执行加载或存储位等正常操作。知道了应该这么做,但怎么去做以及有什么办法更有效率去做,就是接下来要整理的内容。

Paul 安的博客 1万+

学习 spring-cloud-alibaba-nacos-config 踩的坑

对于springcloud是个初学者,好多知识不懂 先附上nacos config 的 官方git 文档地址: Nacos config · alibaba/spring-cloud-alibaba Wiki · GitHub 首先, 在看到这里的时候,内心是懵逼的我。bootstrap 这不是一个前端框架么?第一次没有管,直接忽略,就在application里面配置,刚开始都成功了,但到了命名空间,namespace的时候,成功不了了。查原因,注意到了这里,于是查询,这里的bootstrap是一.

这天有点热的博客 1006

YOLOv8 骨骼结构识别详细说明

YOLOv8骨骼结构识别是一种基于深度学习技术的医学影像分析方法,主要用于X光、CT等影像中的骨骼定位与识别。该系统具有多骨骼同步识别能力,可应用于手部、脊柱、骨盆等不同部位,并能精确定位骨骼关键点。技术实现包括数据预处理、模型训练、推理检测、关键点分析和批量处理五个核心模块,支持骨折检测、骨龄评估等临床应用。该系统需注意医学合规性,要求高质量标注数据,并针对骨骼影像特点进行特征工程优化,同时考虑不同设备的部署需求。

u010117029的博客 334

Origin教程004:Origin图形导出

需要编辑的话,双击图形,会自动用origin软件打开图形,这种方式是最开始导出图形的功能,方式一和二都是后面增加的。如果导出的图片边距较大的时候,会影响图片的美观,可以通过。也可以设置在PPT中直接编辑,找到。解决方法是,选择一条线,

WwLK123的博客 6336

ruoyi-system 从nacos读取不到配置文件,配置文件没错,bootstrap也没错

直接改nacos的配置表,ruoyi-system启动失败,无法从nacos读取配置文件

qq_41871318的博客 3468

文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况

主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。

nacos需要mysql吗_nacos部署使用mysql作为数据库

Nacos是阿里巴巴开源的一款支持服务注册与发现,配置管理以及微服务管理的组件,这里我不讲nacos的docker部署,没错,如果你使用官方的方式部署nacos肯定是可以的,但是我想使用自己写的compose文件去部署就是不行,我也不知道为什么,可能我的知识层次还不够高吧环境openjdk 1.8centos 7.2nacos 1.0.1使用的是nacos的cluster模式,也就是说我会部署两...

weixin_39901943的博客 4847

ssm框架搭建

这个是一个在idea上成功跑起来的ssm框架项目,保存在这里方便以后使用直接下载

android 蓝牙通讯demo

android 下蓝牙通讯demo,实现了发现蓝牙,使能蓝牙,通过蓝牙发送消息。

从踩坑到入门:Nacos 注册中心 + 配置中心保姆级教程,看完直接上手!

相信很多刚接触微服务的小伙伴,都会被 "注册中心"、"配置中心" 这些名词搞得头大。而阿里巴巴开源的 Nacos,凭借着 "一站式" 的优势,成为了微服务架构中的当红炸子鸡。"URL 拼写可能存在错误,请检查"(没错,就是你访问时可能看到的那个)。别慌!这篇文章不仅会带你从零搞定 Nacos 的安装、注册中心和配置中心的使用,还会手把手教你解决这个最常见的踩坑问题。访问 Nacos 报错 "URL 拼写错误":参考本文第二部分,检查启动状态、防火墙、URL 和 IP。服务注册不上 Nacos:检查。

smile_WangDuoduo的博客 687

Devexpress16.2.6破解工具

Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具

nacos部署使用mysql作为数据库

简介 Nacos是阿里巴巴开源的一款支持服务注册与发现,配置管理以及微服务管理的组件,这里我不讲nacos的docker部署,没错,如果你使用官方的方式部署nacos肯定是可以的,但是我想使用自己写的compose文件去部署就是不行,我也不知道为什么,可能我的知识层次还不够高吧 环境 op...

947

6、Nacos服务注册——PushService类功能

如果您对Nacos工作流程和原理还不是很清楚的话,建议从前面的文章开始看: 1、nacos功能简介 2、Nacos服务注册-客户端自动注册流程 3、Nacos服务注册-客户端(nacos-client)逻辑 4、Nacos服务注册-服务端(nacos-naming)逻辑 5、Nacos心跳机制与健康检查    前言 PushService类挺复杂的,我觉得很有必要先整体说下PushService类的功能,这将有助于理解后面将要讲得内容。 如果你是从前面的文章一篇一篇看下来的话,那么你应该很清楚我们是如何进入

jb84006的博客 2707

Nacos配置中心避坑指南:Spring Cloud项目如何避免‘空配置’警告?

本文针对Spring Cloud项目集成Nacos配置中心时常见的‘空配置’警告问题,提供了系统性解决方案。文章深入剖析了配置加载机制,明确了bootstrap.yml与application.yml的职责划分,强调了版本兼容性检查的重要性,并给出了实战调试与日志分析方法,帮助开发者从根源上规避配置加载失败,确保微服务配置管理的稳定与可靠。

metal的博客 740

Nacos注册中心

Nacos是微服务架构中的核心组件,相当于"通讯录+遥控器",解决了服务动态发现与配置管理的难题。文章通过实际场景展示:没有Nacos时,服务间调用会因IP/端口变更而失败;引入Nacos后,服务自动注册(nacos-client)到中心节点(nacos-server),实现动态发现与负载均衡。详细介绍了Nacos的安装步骤:配置JAVA_HOME、初始化MySQL数据库、启动单机模式,以及访问控制台。Nacos的核心价值在于使微服务具备自维护能力,支持服务自动注册、发现、更新,实现配置

GYY20210200107的博客 1008

Nacos + Prometheus + Grafana 搭建走起~

小伙伴们好呀,这两天在本地搭建了这个 Nacos + Prometheus + Grafana 🐷主要是为了这个 nacos (填坑🕳),然后顺便搭下这个监控中心

公众号 Java4ye 1388

SpringBoot整合Nacos遇到的坑之一

随着SpringBoot和SpringCloud的火爆,微服务的注册发现变更更加重要,不然很容易找不到服务,导致调用失败,最近我就遇到一个很奇怪的问题,特地整理出来,希望对遇到次问题的童靴们有个帮助。 由于昨晚下了暴雨,我的电脑好像断电了一次,早上一回来发现电脑自动重启了。桌面的开发工具啥的都得重新打开一次,Idea也一样,我也正常的启动了服务,查看了nacos,这是发现一个问题了,平常的服务ip都是192.168.73.204,今天一看不对,变成了192.168.66.1,试...

weixin_45647586的博客 4514
上一篇: 图解 Kafka,画得太好了!
下一篇: MySQL 亿级数据分页的优化
公众号-芋道源码
博客等级 码龄10年 1639粉丝 377原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值