微服务后端查询超时立即返回的处理方法

02-3 分布式中服务中超时处理 一、微服务交互模式 1.1、同步调用 特点: 请求服务方调用响应服务方,请求方阻塞等待响应处理结果,一直等待到超时或成功。 适用场景: 大规模,高并发的短小操作,不适用后端负载较高的场景。如:JDBC实现为BIO同步阻塞 1.2、异步调用 特点: 请求服务调用响应服务,响应服务受理成功后,请求服务继续其他操作,当响应服务操作成功后请求服务做后续处理操作 使用场景: 非核心链路处理,耗... 阅读详情

背景描述

    功能:向用户提供区间可查询,用户输入时间区间,或者其他特定参数,后端调用底层平台获取数据后再进行业务处理、分页等封装以便展示。
    问题:1. 当用户输入时间区间过大可能会导致跨平台查询底层数据量过大,查询速度慢、超时、撑爆内存,进而造成服务卡死或宕机。2. 由于数据量的多少和时间区间的长短并无之间联系(数据量多少与业务有关,有时候一秒内几千笔,而有时候数小时内都可能无记录),因此输入区间限制不宜在前端控制,而后端接收参数后也需跨平台调用接口,后端业务层入口也无法做范围限制。
    愿景:我们需要对查询接口做超时处理,即查询有结果立即返回,若查询耗时超过30秒之后无论是否有结果也立即返回。

解决方案

    该功能实现的业务层中开启线程池,启动两个线程来分别执行查询任务和监控超时打断任务。

技术思路
  • 设定一个查询任务,将有可能查询超时及复杂业务处理的逻辑写进任务中,该查询任务丢给子线程执行;
  • 再设定上述查询任务的守护任务,该任务先sleep 30秒,然后询问查询任务是否已完成,若未完成或未取消,则将查询任务终止。毫无疑问,这里的守护任务需持有查询任务的future对象;
  • 业务层中将这两个任务丢进线程池,若查询结果很快有结果则立即返回并关闭守护线程;若查询超过30秒,则查询线程被守护线程打断,主线程继续处理超时异常并关闭守护任务及线程池;
代码实现

    查询任务Task类

public class RangeQueryTask implements Callable<List> {

    //复杂耗时查询的句柄
    private ComplexRangeQuery complexRangeQuery;


    public RangeQueryTask(ComplexRangeQuery complexRangeQuery){
        this.complexRangeQuery = complexRangeQuery;
    }
    
    @Override
    public List call() throws Exception {
        try{
            //执行查询逻辑  略

            //返回数据处理及封装  略

        }catch (Exception e){
            //不同的异常的对应处理  略

        }
        return new ArrayList();
    }
}

    守护任务Task类

public class RangeQueryDemonTask  implements Callable<Integer> {

    private Future<List> complexRangeQryTaskFuture;

    public RangeQueryDemonTask(Future<List> complexRangeQryTaskFuture){
        this.complexRangeQryTaskFuture = complexRangeQryTaskFuture;
    }

    @Override
    public Integer call() throws Exception {
        try{
            sleep(30000);
        }catch (InterruptedException e){
            e.printStackTrace();
        }finally {
            if (!complexRangeQryTaskFuture.isDone()||!complexRangeQryTaskFuture.isCancelled()){
                complexRangeQryTaskFuture.cancel(true);
            }
            //此处将超时异常抛给前端处理
            throw new BussinessException(EnumErrorInfo.QRY_TIMEOUT.getCode(),EnumErrorInfo.QRY_TIMEOUT.getMsg());
        }
        return null;
    }
}

    业务层处理逻辑

ThreadPoolExecutor threadPoolExecutor = null;
List resultList;
try{
    //拟用ComplexRangeQuery指代耗时查询,输入参数为起始时间及终止时间
    ComplexRangeQuery complexRangeQuery = new ComplexRangeQuery("startTime","endTime");
    threadPoolExecutor = new ThreadPoolExecutor(2,2,10, TimeUnit.MILLISECONDS,new LinkedBlockingDeque<>());
    // 定义查询任务
    RangeQueryTask rangeQueryTask = new RangeQueryTask(complexRangeQuery);
    Future<List> qryTaskFuture = threadPoolExecutor.submit(rangeQueryTask);
    // 定义守护任务  并将查询任务结果句柄传入
    RangeQueryDemonTask rangeQueryDemonTask = new RangeQueryDemonTask(qryTaskFuture);
    Future<Integer> demonTaskFuture = threadPoolExecutor.submit(rangeQueryDemonTask);
    // 业务主线程一直阻塞于此,若30秒之后查询任务未结束,则查询任务线程被打断后向下继续执行
    resultList = qryTaskFuture.get();
    if (null != resultList){
        //对于查询之后立即返回结果的  也需将守护线程终止
        if (!demonTaskFuture.isDone()||!demonTaskFuture.isCancelled()){
            demonTaskFuture.cancel(true);
        }
    }

}catch (Exception e){
    // 各类异常的相应处理 略
}finally {
    //关闭线程池
    if (null!=threadPoolExecutor&&!threadPoolExecutor.isShutdown()){
        threadPoolExecutor.shutdownNow();
    }
}
return resultList;

本代码亲测有效,现已上线,运行稳定。

微服务数据管理与故障处理机制解析 本文深入探讨了微服务架构中的多个核心问题,包括微服务为何应独立维护数据、副本数据一致性机制、超时与断路器在服务故障管理中的应用、RESTful服务对资源的操作方式、持续部署在微服务中的优势、常见的网络安全威胁及防护手段、加密机制的选择与应用、数据隐私合规问题、软件质量属性、测试策略以及DevOps和代码管理的最佳实践。内容覆盖全面,适合软件架构师和开发人员深入理解系统设计与运维的关键原则。 阅读详情

相关推荐

12V电源电路五层防护设计实战指南

12V电源电路是工业控制、车载电子和智能终端中最基础的供电架构,其可靠性不取决于稳压精度,而取决于对反接、浪涌、短路、过温等典型故障的响应能力。理解TVS钳位原理、P-MOSFET防反接机制及eFuse可编程限流逻辑,是构建鲁棒电源系统的核心。技术价值在于将保护从‘事后补救’升级为‘事前拦截’,显著提升产品MTBF并降低售后返修率。典型应用场景涵盖PLC辅助电源、ADAS摄像头供电、IoT网关主板等严苛环境设备。本文聚焦12V输入端到负载输出端的五层串行防护链设计,深度融合TVS选型、MOSFET导通阈值与

weixin_30983965的博客 298

java设置接口访问超时,自动响应

支持原创,人人有责【https://blog.youkuaiyun.com/a9529lty/article/details/42711029】 一.问题探究 前段时间在搞一个批量处理程序,涉及到多线程操作。但是后台服务很不给力,并发一大常常就挂了,长时间不给返回,导致我的程序也挂死在那里…… 那么能不能设置一段代码执行的超时时间呢?如果处理超时就忽略该错误继续向下执行。 可是在网上搜了大半天...

麦叔 1万+

使用运放构建电压跟随器

运放,是运算放大器的简称 运算放大器是用模拟电子器件(如晶体管,场效应管,二极管等)构成的模拟集成电路,其特点是有很高的放大倍数和抗干扰能力,因此可以被设计成各种用途的派生电路,如电压比较器、窗口电路、波形发生电路等等,其中也有电压跟随器。 电压跟随器是一种具有100%电压负反馈的放大器电路,其特点是输出电压的幅度和极性都与输入电压相同,所以叫跟随器。典型线路如图所示: 运放跟随器有输入阻抗高,而输出阻抗低的特性,一般来说,输入阻抗可以达到几兆欧姆,而输出阻抗低,通常只有几欧姆,甚至更低。 在电

Code for Coffee 5万+

java测试链接超时返回前端

有时候代码需要连接数据库或者svn,连接时间并不长,但是前端调用接口超时的时间一般是一分钟,生产环境的情况下不会让用户等待一分钟,就需要后端控制接口超时时间,例子如下 import java.util.concurrent.Callable; import java.util.concurrent.ExecutorService; import java.util.concurrent.Executors; import java.util.concurrent.Future; import java.ut

阿杰 1049

从叶片之舞到数据之眼:净空雷达如何重塑风电安全与效率的边界

净空雷达通过激光或毫米波技术实现风机叶片与塔筒间距离的毫米级实时监测,极大提升了风电场在极端天气下的安全性与运营效率。这项技术不仅预防扫塔事故,还通过数据可视化与智能分析赋能叶片健康管理和发电优化,成为风电数字化运维的核心基础设施。

xk7n92h3p5m的博客 1163

LTE随机接入实战:如何通过PRACH前导码优化小区覆盖半径(附计算公式)

本文深入探讨了LTE网络中PRACH前导码格式对小区覆盖半径的关键影响。通过解析不同前导码格式(如Format 0-3)的物理参数与覆盖能力,提供了核心计算公式与实战Python脚本,指导网络工程师根据覆盖需求、环境多径和容量等因素,科学选择前导码格式以优化边缘用户接入成功率,实现精准的网络规划与优化。

qq_27496129的博客 577

接口反应慢定位及处理方法

有时候我们点击一个按钮可能会触发很多个接口,这时如果反应慢我们那就要定位一下是具体那个接口反应慢,如图当我点击查询接口时他一直在转圈,很多人自然而然的也以为是查询接口出了问题。但是当我们点看network查看时会发现,其实一直在请求的是另外一个接口。整个逻辑是:当我们请求查询是首先会去判断这个人的权限,如果有权限再返回数据。而权限接口一直请求慢导致我们看到查询时一直在转圈。

weixin_42072632的博客 2148

MT4-EA自动化交易研究笔记(2022-04-22)

自从接触到mt4的EA自动化交易,更让我这个10多年的老程序员看到了曙光,目前来看也确实出了一点成果,只是是否能稳定盈利有待时间的考验,所以开此专栏,一来做做记录与分析,更好的优化我的EA,二来也希望能与更多的高手交流,以完善我的交易系统

t35254056的博客 2292

在调用接口时的一些思考

场景:项目中需要调用第三方平台的查询接口,要求将数据列表一次性全查出来。 问题1:第三方接口,为分页查询,可能需要多次查询才能查完 问题2:多次查询时,接口响应时间会变长 解决思路:①分页查询,第一次查询先取最大pagesize。然后把结果中的数据用量和pagesize比较。超过pagesize需要再次查询。 ②如何解决循环调接口查询响应时间长的问题:使用异步调用的方法,new几个线程,然后分别去调接口

m0_49128301的博客 242

Eureka常见面试题总结

点击关注我的博客原文 Eureka是Netflix组件的一个子模块,也是核心模块之一。云端服务发现,一个基于 REST 的服务,用于定位服务,以实现云端中间层服务发现和故障转移(来源springcloud中文网的介绍:https://www.springcloud.cc/)。下图总结了Eureka服务端(以下简称服务端)与Eureka客户端(以下简称客户端)之间协同工作的流程: 流程说明:...

u012105931的博客 2万+

【BUG已解决】pip install 出现 error: Microsoft Visual C++ 14.0 or greater is required 解决方案

方案磁盘占用适用场景推荐指数安装Build Tools3-6GB长期Windows Python开发⭐⭐⭐⭐⭐寻找预编译wheel无额外占用只是想快速装上某个包⭐⭐⭐⭐⭐用conda安装视包而定已经在用conda环境⭐⭐⭐⭐⭐升级到新版本无额外占用库本身有更新的预编译版本⭐⭐⭐⭐使用WSL2需要额外配置Linux子系统频繁遇到Windows编译问题⭐⭐⭐⭐的核心是Windows 缺少本地 C/C++ 编译器,而目标包需要在本机编译。先看是否有捷径。

博客 1万+

微服务调用超时处理

在开发过程中,应用程序通常会和其他的应用进行交互,应用系统之间的交互往往离不开网络通信。然而,网络环境是不稳定的,网络超时是我们需要考虑的问题。 交互模式 同步 同步调用 同步调用接口返回两种状态,这两种状态都是终态,成功S或者失败F。同步调用会阻塞等待返回结果,如果长时间没有结果返回则会等待超时。 异步 异步调用 异步调用会返回两次结果,一次是同步返回一次异步返回。同步返回告知调用方请求已经受理,异步返回告诉调用方请求成功或失败。 ...

spring_root的博客 5585

Claude Code(1):手把手教你安装配置 Claude Code

Claude Code 是一款强大的 AI 编程助手工具,能够帮助开发者提升编码效率。本文将详细介绍如何在不同操作系统上安装和配置 Claude Code,让你快速上手这款工具。

blues_C的博客 759

微服务架构中的链路超时分析

1.1 现象(问题)​ 微服务架构项目落地过程中,开发人员一般都遇到过调用超时问题,大部分时候会出现在feign接口调用上,这是微服务与单体服务最大的区别,单体从来不用考虑服务之间调用因为网络、序列化等因素导致的额外时间损耗问题。

Java技术攻略的博客 1350

最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版

Part-E1-SDIO-Specification-Ver4.00-Final-120220.pdf:最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版,包括SDIO 接口的外设,SDIO 接口官方协议等。

SAP B1中文培訓教材_SDK

公司内部培训资料,对开发工具 ,DIAPI, UIAPI,Add-ON有详细解说

HTTP超时配置全解析:从连接超时到总超时,构建稳定微服务调用

在分布式系统和微服务架构中,网络通信是核心基础。HTTP作为最广泛的应用层协议,其超时机制是保障系统稳定性和弹性的关键技术。超时本质上是客户端与服务端之间交互的时间边界,用于防止资源无限等待和耗尽。从技术原理看,一个完整的HTTP请求涉及连接建立、TLS握手、数据发送与接收等多个阶段,每个阶段都应有独立的超时控制,如连接超时、读写超时和总超时。合理的超时设置能有效避免线程池耗尽、连接泄漏,并防止故障在服务间级联扩散,这是构建高可用系统的工程基石。在实际应用场景中,尤其在微服务调用、API网关代理以及文件上传

weixin_30617797的博客 466

廖雪峰Python教程[完整版]

廖雪峰的python教程整理的,已经排好版了,而且还是完整的,适合小白

Go 微服务治理:先把超时、重试和限流写明白

Go 微服务治理从超时、取消、重试、幂等、限流和降级开始。工具可以后上,边界必须先写。能把失败控制住,服务才算真正可治理。不管用不用服务网格,每个服务的代码里都应该回答那三个问题:等多久、怎么重试、打不过来怎么办。

好代码自己会说话,烂代码才需要注释来圆谎 3567

win10 跳过U8环境检测的IE WebControls.rar

win10 安装u8的时候 提示IE WebControls 不通过,这个工具可以欺骗u8的检查。 跳过U8环境检测的IE WebControls。提示导入失败后,重新检测通过。

HTTP超时设置全解析:从核心原理到微服务实战配置

在网络编程与分布式系统中,超时机制是保障系统稳定性和韧性的基础技术之一。其核心原理在于为网络请求的各个阶段(如连接建立、数据传输)设定明确的等待时限,防止资源被无限占用。合理配置超时能有效避免线程池耗尽、连接泄漏等问题,从而提升系统的容错能力和响应速度。在微服务架构、API调用等应用场景中,超时设置更是服务间调用的关键契约,直接关系到链路可用性和故障隔离。本文以HTTP请求为切入点,深入探讨如何针对连接超时、读取超时等不同维度进行精细化配置,并结合502 Bad Gateway等典型错误,提供从问题诊断到策

weixin_30770783的博客 398

NEURAL MASK 与 Java 后端集成实战:构建智能图像处理微服务

本文介绍了如何在星图GPU平台上自动化部署💠 NEURAL MASK | 幻镜 · 视觉重构实验室镜像,以构建智能图像处理微服务。通过该集成方案,Java后端系统可便捷调用该AI模型,实现电商商品图片自动抠图、背景替换等核心应用,显著提升批量图片处理效率。

weixin_27645199的博客 375

京东后端架构技术,Pipline 设计 解决复杂查询逻辑

京东后端架构是我今年在一位京东后端专家老师的内容讲解里面看到的,原内容已经不在了,今天的分享有写的不当的地方可留言指出。

编程技术、独立开发、技术资讯以及编程感悟等内容 1127

【Java后端】restTemplate异常处理

- 记录一下今天遇到的问题,和尝试解决过程中的经历 - 在与其他微服务接口进行联调的过程中,因为我这边依赖的接口在正常和异常两种情况下,返回的字段不一样,导致我这边通过restTemplate发送请求时,封装的返回对象不能够灵活适配接口返回对象的字段,导致在服务异常返回时,我这边处理不了。 于是查询解决这个问题的方法,发现可以自己定义一个ResponseErrorHandler的实现类,对异常情况...

咸煌的博客 1万+

网关超时、熔断失效?Docker MCP错误处理的7大黄金法则,你掌握几个?

掌握Docker MCP 网关的错误处理核心技巧,解决网关超时、熔断失效等常见问题。涵盖重试机制、限流策略、日志追踪等7大实用法则,适用于微服务架构与容器化部署场景,提升系统稳定性与容错能力,值得收藏。

PixelGlow的博客 820

微服务超时排查难如登天?:手把手教你用5个工具精准定位瓶颈

快速掌握微服务调用超时解决方法,5大工具助你精准定位性能瓶颈。适用于分布式系统排查,涵盖链路追踪、日志分析与监控告警,提升故障响应效率,值得收藏。

LogicNest的博客 815

Nginx 请求超时

请求超时是指服务器在接收到客户端请求后,未能在规定的时间内完成该请求的处理,导致请求被中止或失败。客户端请求超时:客户端发起请求后等待响应的时间超过了 Nginx 配置的超时时间。Nginx 与后端服务的通信超时:当 Nginx 作为反向代理服务器时,它需要与后端应用服务器(如 PHP、Node.js、Tomcat 等)进行通信。如果后端响应迟缓或未及时响应,可能会导致请求超时。Nginx 自身处理请求的超时:当 Nginx 自身的处理时间过长,未能在指定的时间内完成请求时,也会发生超时。

2509_94213026的博客 990

微服务架构分层和前后端分离

本文依旧主要参考沈剑大佬的微服务设计相关的五篇博文及其精彩评论,文末是完整参考。 程序就是:数据的传输、数据的转换、数据的存储。 1、分层架构 1.1 典型的互联网分层架构 客户端层 web 站点层 业务服务层:整个多个相关单一服务的数据,对外提供通用功能,减少重复代码 数据库访问层:对外提供某个系统的数据访问服务、 数据存储层:db/缓存 1.2 分层架构的本质 互联网分层架构的本质,...

Lucky小黄人的博客 1710

API接口调用读取超时(read time out)问题 - 解决思路和步骤(AI问答)

API接口调用读取超时(read time out)问题 - 解决思路和步骤 # 问题描述 一个后端应用,调用另一个应用的API接口获取数据,报错为`读取超时(read time out)`;实际测试下来,接口请求花费时间约`9分钟`;接口的想用的数据量约为`一万多条`。

宋冠巡的博客 1万+
上一篇: Apollo配置中心搭建笔记
下一篇: Java 获取过去24小时、一周、一个月的日期
zhg_vincent
博客等级 码龄12年 93粉丝 45原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值