记录一个Dubbo报错线程池溢出

最新推荐文章于 2020-07-29 22:51:26 发布
最新推荐文章于 2020-07-29 22:51:26 发布
阅读量231 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 运维
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/hehehechen/article/details/106857751
博客详述了作者在凌晨遇到系统日志频繁报错的情况，错误信息指向线程池溢出。深入检查后发现，是由于默认线程池参数设置不当与定时任务冲突所致。文中分享了调整JVM参数及排查定时任务的具体步骤。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

每天晚上三点日志开始报错
在error日志中报错线程池溢出在这里插入图片描述
检查线程池
在这里插入图片描述
检查线程数，未发现添加线程参数，即默认200
在这里插入图片描述
Xmx xms 为老年代存活对象
Xmn 为年轻代
PermSize设置非堆内存初始值
MaxPermSize设置最大非堆内存的大小

调整JVM后依旧报错，后排查定时任务发现mysql定时任务备份导致。停掉定时任务后正常。

Dubbo【Dubbo高级特性(服务限流实现) 、Dubbo实战（项目介绍、创建dubbo_parent父项目、创建user_api项目） 】(四)-全面详解（学习总结---从入门到深化）
06-27 401
Dubbo【Dubbo高级特性(服务限流实现) 、Dubbo实战（项目介绍、创建dubbo_parent父项目、创建user_api项目） 】(四)-全面详解（学习总结---从入门到深化）
Spring Boot整合dubbo+Nacos实战（二）
致力于不留技术债务cuizb.top
03-21 1782
文章目录前言新建父工程cloud-alibaba-demo新建子工程dubbo-demo-service新建子工程gtw启动工程测试 前言 nacos的实战在前面一章已经介绍到 Spring Cloud Alibaba+Nacos的介绍与实战（一） 以及几种注册中心的区别介绍 几种常见的注册中心以及区别 新建父工程cloud-alibaba-demo 源码已经上传到gitee上 地址：https://gitee.com/culzb/cloud-alibaba-demo 配置文件pom.xml 管理子工程.
关于Dubbo异步调用的优化
03-04
对原有的dubbo远程调用的异步的缺陷性进行了优化方案
有关dubbo线程池溢出
weixin_34038652的博客
02-18 431
2019独角兽企业重金招聘Python工程师标准>>> ...
dubbo线程池溢出解决
yuhui666666的博客
03-29 598
https://blog.youkuaiyun.com/shaoyingchendsg/article/details/77551159   最近在处理项目，压测的时候发现，dubbo线程池溢出，查看官方文档找到解决方案，如下： 根据自己的需要，改成需要参数 <dubbo:protocol name="dubbo" dispatcher="message" threads="500" threa...
阿里dubbo出错提示Thread pool is EXHAUSTED问题及解决方法
08-18
主要介绍了阿里dubbo出错提示Thread pool is EXHAUSTED的问题及解决方法，本文给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
定时任务管理中心（dubbo＋spring）－我们到底能走多远系列47
weixin_34261739的博客
01-22 334
我们到底能走多远系列47 扯淡： 　　又是一年新年时，不知道上一年你付出了多少，收获了多少呢？也许你正想着老板会发多少奖金，也许你正想着明年去哪家公司投靠。 　　这个时间点好好整理一下，思考总结一下，的确是个非常好的机会。 　　年终的时候各个公司总会评一下绩效，拉出各位的成绩单，你是不是想说：去你妈的成绩单，我不是你的学生，老子努力工作不是为了看你脸色！当然啦，你想说这话的前提是：你很牛b...
JDK、Dubbo中的线程池
hosaos的博客
12-26 1556
如果某个Dubbo请求并发比较高，同时响应上由于数据库原因或者网络原因导致接口内部请求慢，则该Dubbo方法及其容易导致Dubbo里的线程池耗尽，此时消费端会收到如下异常堆栈信息 Caused by: java.util.concurrent.RejectedExecutionException: Thread pool is EXHAUSTED! Thread Name: DubboServer...
分布式中间件之Dubbo详解
tdd18792032806的博客
07-29 3795
文章内容输出来源：拉勾教育Java高薪训练营 心得体会： 在拉勾教育高薪训练营里经过三个月多的学习，很辛苦但也收获很多，主要体现在：1.以前是工作遇到了哪方面的问题才去学习并解决，很难形成知识体系，在拉勾高薪训练营里课程内容很丰富，基础回顾加进阶讲解，完美的打造了个人的知识体系，为成为一名合格的架构师奠定了基础；2.值得一说的是“闯关式”的学习模式，若上一个模块的作业未完成就无法学习下一个模块，但有班主任和导师对个人的学习进行督促，可以让我们学员必须牢靠的掌握技术知识点；3.在知识点技术落地方面，以前只是听
服务治理：Dubbo+ZK 出现的问题-
好记性不如烂笔头--玲博小记
01-06 2526
服务发布/发现 问题1：提供者的ip注册到zk上，ip地址不正确 原因：是服务器有多个网卡，解决的办法就是在配置dubbo时，把host指定上： <dubbo:protocol host="192.168.xx.xx" name="dubbo" port="20880" /> 问题2：本地服务注册到服务器dubbo上，注册、消费者调用成功，在dubbo上的IP是本机ip；...
SpringBoot+ MySQL +Dubbo+scheduling实现动态定时添加
zhouzhiwengang的专栏
04-09 634
前景提要：spring自带的scheduling定时调度任务相当于轻量级的Quartz,但是不支持分布式,若要实现分布式定时任务就得使用Quartz。 1、项目整体结构： 2、定时任务核心代码： 程序入口： package com.zzg; import org.springframework.boot.SpringApplication; import org.springfra...
Dubbo+Spring定时器
Young_____Hu的博客
06-13 1634
1.需要有zookeeper，并且zookeeper服务开启 2.生产者提供服务，把service接口项目作为依赖， //首先，加载spring的配置文件使用dubbo把服务发布出去 public class SendService { @SuppressWarnings("resource") public static void main(String[] args) { ...
Spring之——两种任务调度Scheduled和Async
冰河的专栏
05-18 1万+
1、Spring调度的两种方式 Spring提供了两种后台任务的方法,分别是: 调度任务，@Schedule 异步任务，@Async 当然，使用这两个是有条件的，需要在spring应用的上下文中声明 <task:annotation-driven/>当然，如果我们是基于java配置的，需要在配置哪里加多EnableScheduling和@EnableAsync 就像下...
spring定时任务如何运行 schedule解析
一言不合吃吃吃的博客
08-25 7397
经过长时间的研究spirng的源码，发现如果仅仅只是在xml里配置定时任务或者通过注解来实现配置定时任务的话，无需依赖spring-context-support包，这个包里所含的scheduling包都是为了集成quartz的，而spirng其实只用了spring-context的scheduling包。下面解读一下spring是如何解析我们的配置并且运行的简单的配置一下定时任务<?xml ver
分布式开源调度框架TBSchedule原理与应用
传说今天不多说
02-24 4万+
第一部分 TBSchedule基本概念及原理 1. 概念介绍 2. 工作原理 3. 源码分析 4. 与其他开源调度框架对比 第二部分 TBSchedule分布式调度示例 1. TBSchedule源码下载 2. 引入源码Demo开发示例 3. 控制台配置任务调度 4. selectTasks方法参数说明 5. 创建调度策略参数说明 6. 创建任务参数说明第一部分 TBSchedule基本概念
Dubbo学习系列之十二（Quartz任务调度）
a57941617219的博客
09-29 643
Quartz词义为"石英"水晶，然后聪明的人类利用它发明了石英手表，因石英晶体在受到电流影响时，它会产生规律的振动，于是，这种时间上的规律，也被应用到了软件界，来命名了一款任务调度框架--Quartz。现实软件逻辑中，周期任务有着广泛的存在，如定时刷新配置信息，定期盘点库存，定时收发邮件等，至于定时任务处理，也有Spring的ScheduledThreadPool，还有基于注解@Sche...
Dubbo项目配置，其实没那么神乎
倒着走的码农
02-27 1万+
dubbo和Springmvc相关的分布式项目，有具体步骤，附源码
dubbo 知识总结 dubbo配置参考
热门推荐
一言不合吃吃吃的博客
11-03 5万+
dubbo官方文档项目的规模越来越大，总得解耦，不能在一个项目里，这时候，公司采用了dubbo作为分布式应用，将多项业务拆分，并做了库存服务统一、价格服务统一等等一些特殊需要统一性的服务。作为dubbo我也接触了快一年的时间，总会有一些自己的对dubbo的想法。下面是对dubbo的说明：节点角色说明： Provider: 暴露服务的服务提供方。 Consumer: 调用远程服务的服务
*** ERROR *** CP = 3.000 TIME= 11:17:40 The system coupling service error notification: Error when making a remote call to participant Solution.
最新发布
07-20
<think>嗯，用户这次的问题很明确，是一个系统耦合服务错误，具体表现是远程调用Solution服务时失败。用户还附带了一些系统级指令，要求规范数学公式格式和引用格式。不过当前问题主要是技术故障排查，暂时用不到数学公式。 用户提供的引用内容[1]提到服务注册表的概念，这和远程调用问题直接相关。引用[2]关于元组的定义反而和当前问题关联不大。看来用户可能是在排查分布式系统问题，需要重点关注服务发现和通信机制。 从错误信息"Error when making a remote call to participant Solution"来看，核心是远程过程调用(RPC)失败。这类问题通常涉及三个层面：网络层、服务可用性层和协议层。需要引导用户逐步排查： 网络层问题最常见，包括防火墙阻断、DNS解析失败、端口不通等。服务可用性问题可能是目标服务未启动或过载。协议层问题则可能是版本不匹配或序列化错误。考虑到错误提到"participant Solution"，这可能是某个业务流程中的参与方服务，需要确认该服务的注册状态。 用户身份推测是系统运维或开发人员，正在处理微服务架构下的集成问题。ta可能已经查看了基础日志，但需要更深入的排查方向。情绪应该比较着急，毕竟生产环境出现远程调用失败会影响业务流程。 在回复中要给出可操作的检查清单，从最简单的网络连通性测试开始，逐步深入到服务注册表检查和负载均衡状态。特别要强调查看Solution服务端的日志，因为客户端报错往往只是表象。对于Spring Cloud或Dubbo等常见框架，可以给出具体的健康检查端点示例。 最后要提醒用户注意服务熔断机制可能被触发的情况，这是分布式系统中常见的容错设计。如果用户能提供更多上下文，比如使用的RPC框架和注册中心类型，可以给出更精准的建议。</think>根据远程调用Solution服务时出现的系统耦合服务错误，以下是结构化排查指南： ### 一、核心问题定位 1. **服务可用性检查** - 确认Solution服务实例是否注册到服务注册中心（如Nacos/Eureka） - 检查注册中心健康状态：`curl -X GET 'http://registry-ip:port/nacos/v1/ns/service/list?pageNo=1&pageSize=10'` - 验证服务提供者心跳是否正常[^1] 2. **网络连通性验证** ```bash # 测试基础网络 telnet solution-service-ip 服务端口 # 检查防火墙规则 iptables -L -n | grep 目标端口 ``` ### 二、关键配置项核查 | 配置项 | 检查要点 | |-----------------------|---------------------------------| | 服务发现配置 | 注册中心地址、命名空间、服务分组 | | 负载均衡策略 | Ribbon/Dubbo的负载均衡算法 | | 超时设置 | 调用超时时间 > 服务实际处理时间 | | 熔断机制 | Hystrix/Sentinel阈值是否过小 | ### 三、日志分析步骤 1. **调用方日志** 查找错误栈中的关键标识： ```log Caused by: java.net.ConnectException: Connection refused Caused by: feign.RetryableException: Read timed out ``` 2. **Solution服务日志** 检查是否有以下异常模式： - 线程池耗尽：`RejectedExecutionException` - 数据库阻塞：`SQLTimeoutException` - 内存溢出：`OutOfMemoryError` ### 四、应急解决方案 ```java // 临时添加熔断降级处理（Spring Cloud示例） @FeignClient(name = "solution-service", fallback = SolutionFallback.class) public interface SolutionClient { @PostMapping("/api/execute") Response execute(@RequestBody Request request); } @Component public class SolutionFallback implements SolutionClient { @Override public Response execute(Request request) { return Response.defaultFallback(); // 返回兜底数据 } } ``` ### 五、架构级优化建议 1. **解耦依赖** - 引入消息队列异步化调用（如Kafka/RocketMQ） ```mermaid graph LR A[调用方] --> B[消息队列] B --> C[Solution服务] ``` 2. **服务治理** - 启用分布式链路追踪（SkyWalking/Jaeger） - 实施服务网格（Service Mesh）进行流量控制 > **注**：若使用Dubbo框架，检查`dubbo:reference`配置中的`connections`参数是否过小，默认100连接可能在高并发时成为瓶颈[^2]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值