请求合并

Java 请求合并技术:十倍提升系统性能 想让系统性能提升?Java请求合并技术将分散的接口调用打包处理,大幅减少网络往返与资源消耗,轻松应对高并发场景。本文详解实现原理与代码,助你系统性能翻倍提升! 阅读详情

高并发场景中,调用批量接口相比调用非批量接口有更大的性能优势。但有时候,请求更多的是单个接口,不能够直接调用批量接口,如果这个接口是高频接口,对其做请求合并就很有必要了。比如电影网站的获取电影详情接口,APP的一次请求是单个接口调用,用户量少的时候请求也不多,完全没问题;但同一时刻往往有大量用户访问电影详情,是个高并发的高频接口,如果都是单次查询,后台就不一定能hold住了。为了优化这个接口,后台可以将相同的请求进行合并,然后调用批量的查询接口。如下图所示

或者下图

设计决绝方案

代码实现

@Test
public void benchmark() throws IOException {
    // 创建 并不是马上发起请求
    for (int i = 0; i < THREAD_NUM; i++) {
        final String code = "code-" + (i + 1); // 番号
        // 多线程模拟用户查询请求
        Thread thread = new Thread(() -> {
            try {
                // 代码在这里等待,等待countDownLatch为0,代表所有线程都start,再运行后续的代码
                countDownLatch.await();
                // http请求,实际上就是多线程调用这个方法
                Map<String, Object> result = commodityService.queryCommodity(code);
                 System.out.println(Thread.currentThread().getName() + " 查询结束,结果是:" + result);
            } catch (Exception e) {
                System.out.println(Thread.currentThread().getName() + " 线程执行出现异常:" + e.getMessage());
            }
        });
        thread.setName("price-thread-" + code);
        thread.start();
        // 田径。启动后,倒计时器倒计数 减一,代表又有一个线程就绪了
        countDownLatch.countDown();
    }

    // 输入任意内容退出
    System.in.read();
}

 

@Service
public class CommodityService {
    class Request {
        String commdityCode;
        CompletableFuture<Map<String, Object>> future; // 接受结果
    }

    // 积攒 请求。(每隔N毫秒批量处理一次)
    LinkedBlockingQueue<Request> queue = new LinkedBlockingQueue<>();

    // 定时任务的实现,N秒钟处理一次数据
    @PostConstruct
    public void init() {
        ScheduledExecutorService scheduledExecutorService = Executors.newScheduledThreadPool(1);
        scheduledExecutorService.scheduleAtFixedRate(() -> {
            // 1、 取出queue的请求,生成一次批量查询
            int size = queue.size();
            if (size == 0) {
                return;
            }
            ArrayList<Request> requests = new ArrayList<>();
            for (int i = 0; i < size; i++) {
                Request request = queue.poll();
                requests.add(request);
            }
            System.out.println("批量处理数据量:" + size);
            // 2、 组装一个批量查询(一定需要 目的资源能够支持批量查询。 http)
            ArrayList<String> commodityCodes = new ArrayList<>();
            for (Request request : requests) {
                commodityCodes.add(request.commdityCode);
            }
            List<Map<String, Object>> responses = queryServiceRemoteCall.queryCommodityByCodeBatch(commodityCodes);

            // 3、将结果响应 分发给每一个单独的用户请求。  由定时任务处理线程 --> 1000个用户的请求线程
            // [
            // {"code":"500",star: tony}
            // {"code":"600",star: tony}
            // ]
            HashMap<String, Map<String, Object>> responseMap = new HashMap<>();
            for (Map<String, Object> response : responses) {
                String code = response.get("code").toString();
                responseMap.put(code, response);
            }
            for (Request request : requests) {
                // 根据请求中携带的能表示唯一参数,去批量查询的结果中找响应
                Map<String, Object> result = responseMap.get(request.commdityCode);
                // 将结果返回到对应的请求线程
                request.future.complete(result);
            }
        }, 0, 10, TimeUnit.MILLISECONDS);
    }

    @Autowired
    QueryServiceRemoteCall queryServiceRemoteCall;

    // 1000 用户请求,1000个线程
    public Map<String, Object> queryCommodity(String movieCode) throws ExecutionException, InterruptedException {
        // 1000次 怎么样才能变成  更少的接口
        // 思路: 将不同用户的同类请求合并起来
        // 并非立刻发起接口调用,请求 收集起来,再进行
        Request request = new Request();
        request.commdityCode = movieCode;
        // 异步编程: 获取异步处理的结果
        CompletableFuture<Map<String, Object>> future = new CompletableFuture<>();
        request.future = future;
        queue.add(request);
        return future.get(); // 此处get方法,会阻塞线程运行,直到future有返回
        // 什么时候返回结果? 批量查询之后。 怎么进行等待
        // return queryServiceRemoteCall.queryMovieInfoByCode(movieCode);
    }


}
@Service
public class QueryServiceRemoteCall {

    /**
     * 调用远程的商品信息查询接口
     *
     * @param code 商品编码
     * @return 返回商品信息,map格式
     */
    public HashMap<String, Object> queryCommodityByCode(String code) {
        try {
            Thread.sleep(50L);
        } catch (InterruptedException e) {
            e.printStackTrace();
        }
        HashMap<String, Object> hashMap = new HashMap<>();
        hashMap.put("commodityId", new Random().nextInt(999999999));
        hashMap.put("code", code);
        hashMap.put("phone", "huawei");
        hashMap.put("isOk", "true");
        hashMap.put("price","4000");
        return hashMap;
    }

    /**
     * 批量查询 - 调用远程的商品信息查询接口
     *
     * @param codes 多个商品编码
     * @return 返回多个商品信息
     */
    public List<Map<String, Object>> queryCommodityByCodeBatch(List<String> codes) {
        // 不支持批量查询 http://moviewapi.com/query.do?id=10001     --> {code:10001, star:xxxx.....}
        // http://moviewapi.com/query.do?ids=10001,10002,10003,10004   --> [{code:10001, star///}, {...},{....}]
        List<Map<String, Object>> result = new ArrayList<>();
        for (String code : codes) {
            HashMap<String, Object> hashMap = new HashMap<>();
            hashMap.put("commodityId", new Random().nextInt(999999999));
            hashMap.put("code", code);
            hashMap.put("phone", "huawei");
            hashMap.put("isOk", "true");
            hashMap.put("price","4000");
            result.add(hashMap);
        }
        return result;
    }
}

弊端:

实行合并请求实际上是执行实际路基之前增加了延迟,如果平均需要5毫秒的执行时间,放在10毫秒做一次批处理的场景下,则最坏的情况可能变成15秒(不适合低延迟的RPC场景、低并发场景)

 

十三、异步并发进修——请求缓存与请求合并实战 创建一个服务类,该类使用。 阅读详情

相关推荐

【电子元件篇】电容的九大作用与选型指南-超简单解读

本文系统介绍了电容的基础概念、核心功能及实际应用。电容作为存储电荷的被动元件,其容值公式为C=Q/V,单位包括法拉及常用派生单位。文章重点解析了电容的九大功能:滤波(通过RC低通电路抑制噪声)、耦合(传递交流隔离直流)、去耦(稳定供电)、储能(短暂供电)、定时(RC延时)、谐振(RLC振荡)、旁路(高频通路)、电压调节(DC-DC转换)以及保护(吸收浪涌)。同时详细阐述了电容分类(陶瓷/电解/薄膜等)、参数选型要点(耐压/容值/精度/温度)及PCB设计注意事项,并针对不同应用场景提供了具体选型建议和常见误区

2301_81299416的博客 4018

接口请求合并技巧,用好了效率直接翻倍!

一、什么是请求合并在WEB项目中,我们一般会使用HTTP协议来处理请求那么我们与服务器交互方式将会是这样的,一次请求,一次处理我们都知道,调用批量接口相比调用非批量接口有更大的性能优势(因为减少了IO交互操作),在高并发情况下,如果有非常频繁的接口请求发生的话,我们则可以考虑请求合并了,将多个请求进行一定的等待延迟,当请求累计达到一定量级的时候,进行批量请求处理二、请求合并的优缺点所谓请求合并,就...

Java知音 1611

研究生课程笔记:软件包在流行病学中的应用(三)——STATA软件

关键词:STATA软件基本操作、STATA对于流行病学研究的实现、STATA对复杂抽样设计样本量计算的实现 一、STATA软件基本操作 这部分网上教程有很多,也可以直接根据stata自带的help功能进行自学,在此只记录课程中提及的功能项。 1. 变量编辑 1.1 赋值:label type(按精度区分) 1) 整型:int(32), short(16), long(32) 2) 实型:flo...

weixin_45463530的博客 2433

高性能手段之合并请求

请求合并顾名思义就是将客户端产生的多个请求归并到一个一次对下游的请求请求合并本质上是时间换空间(性能)的一个思路,利用时间的消耗来积累请求并实现合并请求提高性能的目的,本身也是一种优化手段。有人会说时间延长时间不是让请求时间处理变长了吗?未必,这要结合业务场景以及业务量来综合考量。时间换空间、空间换时间最终的目的都是提升我们系统性能的手段,没有哪个是绝对好的,我们要综合考虑,结合系统现状看哪个带来的收益大就用哪个手段。

am_danger 2249

N32在Keil中J-Link识别失败的排查与修复指南

本文详细解析了在Keil开发环境中,J-Link调试器无法识别N32系列MCU的常见问题。通过分步指导,从检查修改Keil工程配置文件、更新J-Link驱动,到手动添加N32专用设备支持包,系统性地提供了排查与修复方案,帮助开发者快速恢复调试连接,确保开发流程顺畅。

307

在 SAP S/4HANA 的 BP 事务里做保存前校验:BDT 事件、BUPA_FURTHER_CHECKS 与 CVI 扩展 BAdI 一次讲透

SAP BP事务保存前校验机制解析 摘要:本文系统梳理了SAP BP事务保存前的校验机制,揭示了三种关键校验点的差异与适用场景: BDT框架DCHCK事件:最靠近UI层,适合屏幕字段级校验,但API调用时可能失效 Classic BAdI BUPA_FURTHER_CHECKS:全局拦截点,可阻断整个BP保存,适合核心业务规则 CVI扩展校验:仅管控供应商/客户段落,需注意可能产生"BP已保存但段落未保存"的情况 文章通过真实案例(如黑名单校验、付款冻结等)展示了各校验点的最佳实践,并特

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 314

请求合并的三种方式,大大提高接口性能!

程序员的成长之路互联网/程序员/技术/资料共享关注阅读本文大概需要 8 分钟。作者:zhenbianshu来源:https://zhenbianshu.github.io/将相似或重复请...

良月柒 1734

优秀的 Verilog/FPGA开源项目介绍(二十六)- ISP (图像信号处理)

介绍查看《ISP算法及架构分析介绍》今天项目的顺序就是先介绍几个关于ISP算法架构的项目,包括python、matlab、c等高级语言实现的ISP算法架构,最后介绍一个FPGA实现ISP的项目。openISPhttps://github.com/cruxopen/openISP项目介绍用python实现的ISP架构,该架构涉及到的知识如下:下图是最新实现的模块:主要模块如...

OpenFPGA的博客 4951

定时线程池实现请求合并

使用定时线程池实现请求合并技术,降低高并发下服务器压力

胖虎儿的博客 7616

OpenClaw 子代理配对失败问题分析与解决方案

OpenClaw子代理配对失败问题分析与解决方案 问题核心在于agent设备权限不足,仅有operator.approvals权限而缺少operator.admin权限,导致子代理启动时形成权限死锁。本文提供三种解决方案: 直接编辑设备配对文件(推荐):修改本地JSON文件,为agent设备添加完整operator.admin权限,操作简单快捷。 标准重新配对流程:删除现有agent设备后重新配对,通过正常审批流程获取完整权限,符合系统安全设计。 修改源码降低权限要求(仅限开发环境):调整子代理代码避免强制

多媒体编程、网络编程、系统编程、网络安全编程、驱动编程 152

SAP 联产品测试

最近领导一直要求研究一下SAP联产品的使用场景,之前只是自己摸索过一次,这个重新对联产品进行一个测试。 1、首先准备好物料主数据 注意主数据中需要勾选联产品标识。 设置好物料的分摊的百分比。 2、检查BOM 在BOM中也需要维护联产品的标识 只有当组件数量未负数时,才能勾选联产品的标识。如果组件数量正值,勾选联产品的标识时会报错。 3、我们创建生产订单 可以看到按正常的生产订单下达时,系统就报错了,问题点在于离散制造的生产订单基本是结算到物料的。但是联产品是按订单结算的, 所以需要对订单类型中的结算参

我小时候很黑的博客 2116

git 请求合并和审核请求合并

1.创建请求合并 2. 标识1 选择合并的分支 , 标识2 合并到目标分支, 然后点击标识3 3. 点击标识1 创建请求合并 4. 等待审批合并请求,审批人会看到有合并申请 5. 点击标识1 查看合并请求 6. 标识1 合并并提交, 里面有 “Merge” 直接点击就可以合并提交。标识2查看详情。由于是项目不好直接截图,望谅解! ...

奔跑的熊猫 7432

Android Framework WMS全面概述和知识要点

WindowManagerService 类是整个 WMS 的核心大脑,处于系统服务层,负责协调和管理所有与窗口相关的操作。它在 Android 系统架构中起到承上启下的关键作用,向上对接应用层的窗口请求,向下与 SurfaceFlinger 等底层组件交互,确保窗口能够正确地在屏幕上显示和管理。

大模型大数据攻城狮的专栏 1795

SpringCloudHystrix之请求合并

文章目录1. 基于继承实现2. 基于注解实现 写在前面 该文参考来自 程序猿DD 的Spring Cloud 微服务实战一书,该文是作为阅读了 spring cloud hystrix 一章的读书笔记。书中版本比较老,我选择了最新稳定版的 spring cloud Greenwich.SR2 版本,该版本较书中版本有些变动。非常感谢作者提供了这么好的学习思路,谢谢!文章也参考了 Spring-...

我与风来 791

最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版

Part-E1-SDIO-Specification-Ver4.00-Final-120220.pdf:最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版,包括SDIO 接口的外设,SDIO 接口官方协议等。

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

请求合并的总结

这几天基本每天都会看视频跟着学习一些东西,然后总结一下。 今天的总结是关于请求合并。 业务背景:优化接口的处理。预防系统为线程开销过大导致OOM。 处理思路:时间换空间的一种处理方式,在方法级别上 将同一时间请求的参数暂时堆积一起,然后合并成一个批量请求到数据库或者下游业务上。将线程开销的压力阻塞在上游服务上。 应用场景:部分业务在高并发的情况下会因为系统线程开销出现问题,但是专门为这个业...

Li_work的专栏 813

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

HTTP请求合并 vs HTTP并行请求

今天项目遇到一个问题,请求合并和请求拆解哪一个效率更高,一直我都是认为请求合并比拆解效率上来说更好,但是其实并不是这么回事。 浏览器是可以并行下载资源的,将多个资源合并成一个资源,只使用一个HTTP请求下载,不一定会比用多个HTTP请求并行下载没有合并过的多个资源速度更快。 HTTP请求过程 一个HTTP请求的主要过程是: DNS解析(T1) -&amp;amp;gt; 建立TCP连接(T2) -&amp;amp;gt; 发送请...

归小超博客 4459

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

Spring Cloud Hystrix的请求合并

在获取到批量请求结果之后,通过请求合并器再将批量结果拆分并分配给每个被合并的请求。所以在资源有效并且在短时间内会产生高并发请求的时候,为避免连接不够用而引起的延迟可以考虑使用请求合并器的方式来处理和优化。在上面的构造函数中,我们为请求合并器设置了时间延迟属性,合并器会在该时间窗内收集获取单个User的请求并在时间窗结束时进行合并组装成单个批量请求。接口的请求被请求合并器拦截下来,并在合并器中进行组合,然后将这些请求合并成一个请求发向。接下来,我们通过一个简单的示例来直观的理解实现请求合并的过程。

2401_89224931的博客 1012

Java请求合并_高并发场景下请求合并的实践

前言项目中一般会请求第三方的接口,也会对外提供接口,可能是RPC,也可能是HTTP等方式。在对外提供接口时,有必要提供相应的批量接口,好的批量实现能够提升性能。高并发场景中,调用批量接口相比调用非批量接口有更大的性能优势。但有时候,请求更多的是单个接口,不能够直接调用批量接口,如果这个接口是高频接口,对其做请求合并就很有必要了。比如电影网站的获取电影详情接口,APP的一次请求是单个接口调用,用户量...

weixin_33042659的博客 1111

Gitlab 分支合并与请求合并的实战指南

本文提供了一份GitLab分支合并与请求合并的实战指南。通过清晰的步骤解析,详细介绍了如何创建功能分支、发起合并请求、处理代码审查以及解决合并冲突,旨在帮助开发团队建立高效、规范的代码协作与集成流程。

water的专栏 749

Hystrix请求合并

目录 一、介绍 二、代码示例 1. 请求合并HystrixCollapserService 2. 批量请求BatchCommandService 3. 调用 三、参考资料 一、介绍 Hysrix利用一个合并处理器,将对同一个服务发起的连续请求合并成一个请求批量处理,即:多个单个请求转换为单个批量请求,实际是批量请求模式。 核心类com.netflix.hystrix.HystrixCollapser,默认连续10ms(timerDelayInMillisec...

爱我所爱0505 562

Hystrix—请求合并

通常微服务架构中的依赖通过远程调用实现,**而远程调用中最常见的问题就是通信消耗与连接数占用。**在高并发的情况下,因为通信次数的增加,总的通信时间消耗会变得不那个理想。同时,因为对依赖服务线程池资源有限,将出现排队等待与响应延迟的情况。为了优化这两个问题,Hystrix提供了HystrixCollapser来实现请求的合并,以减少通信消耗和线程数的占用。 1. 理论 1. 请求合并的优点 ...

qq_29595463的博客 453

如何创建GitLab 合并请求?

如何创建gitlab合并请求?根据这个问题GitLab 会将该议题和合并请求交叉链接,并将议题关闭模式添加到合并请求的描述中。如果您的项目配置了关闭模式,则当合并请求被合并时,议题会自动关闭。如果您创建的分支名称以任务号为前缀,GitLab 会将该任务和合并请求交叉链接,并将关闭模式添加到合并请求的描述中。如果您的项目配置了关闭模式,则当合并请求被合并时,任务会自动关闭。如果您的开发工作流要求每个合并请求都有一个议题,您可以直接从议题创建分支,以加速这一过程。

GitLab 中国发行版 2528

请求合并java_Hystrix:HystrixCollapser请求合并

偶尔在spring4all,看到DiDi关于hystrix请求合并的一篇文章 Spring Cloud Hystrix的请求合并,查阅资料又整理了一下。具体业务概念,什么是请求合并?请求合并优缺点?可以参考DiDi的文章,然后我把我使用过程中的问题及解决方法写出来## 代码### 合并请求服务实现@HystrixCollapser(batchMethod = "testAll", collapse...

weixin_36421280的博客 313

Hystrix-请求合并

一)请求合并处理雪崩 1)下图为一个的Constomer调用Provider的图 下图为在同一时间下共有的6个Customer要消费的Provider,那么此时就要通过的TOmcat的线程池创建6个线程访问的Provider,此时是没什么问题的。但是如果是500、1000个呢?Tomcat线程池是有上限的这样的势必是对Provider一个的跳转,如果压力过大Provider肯定是要出现问题的。那么...

失忆๑的博客 1326

Java请求合并_Hystrix-request collapsing(请求合并)

介绍:Hystrix的请求合并就是把重复的请求批量的用一个HystrixCommand命令去执行,以减少通信消耗和线程数的占用。Hystrix的请求合并用到了HystrixCollapser这个抽象类,它在HystrixCommand之前前放置一个合并处理器,将处于一个很短的时间窗(默认10ms)内对同一依赖服务的多个请求进行整合并以批量方式发起请求的功能(服务提供方也需要提供相应的匹狼实现接口)...

weixin_35094077的博客 594
上一篇: 事务
下一篇: Synchronized底层实现,锁升级的具体过程
一切还来得及
博客等级 码龄11年 50粉丝 19原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值