请求合并

Java 请求合并技术:十倍提升系统性能 想让系统性能提升?Java请求合并技术将分散的接口调用打包处理,大幅减少网络往返与资源消耗,轻松应对高并发场景。本文详解实现原理与代码,助你系统性能翻倍提升! 阅读详情

高并发场景中,调用批量接口相比调用非批量接口有更大的性能优势。但有时候,请求更多的是单个接口,不能够直接调用批量接口,如果这个接口是高频接口,对其做请求合并就很有必要了。比如电影网站的获取电影详情接口,APP的一次请求是单个接口调用,用户量少的时候请求也不多,完全没问题;但同一时刻往往有大量用户访问电影详情,是个高并发的高频接口,如果都是单次查询,后台就不一定能hold住了。为了优化这个接口,后台可以将相同的请求进行合并,然后调用批量的查询接口。如下图所示

或者下图

设计决绝方案

代码实现

@Test
public void benchmark() throws IOException {
    // 创建 并不是马上发起请求
    for (int i = 0; i < THREAD_NUM; i++) {
        final String code = "code-" + (i + 1); // 番号
        // 多线程模拟用户查询请求
        Thread thread = new Thread(() -> {
            try {
                // 代码在这里等待,等待countDownLatch为0,代表所有线程都start,再运行后续的代码
                countDownLatch.await();
                // http请求,实际上就是多线程调用这个方法
                Map<String, Object> result = commodityService.queryCommodity(code);
                 System.out.println(Thread.currentThread().getName() + " 查询结束,结果是:" + result);
            } catch (Exception e) {
                System.out.println(Thread.currentThread().getName() + " 线程执行出现异常:" + e.getMessage());
            }
        });
        thread.setName("price-thread-" + code);
        thread.start();
        // 田径。启动后,倒计时器倒计数 减一,代表又有一个线程就绪了
        countDownLatch.countDown();
    }

    // 输入任意内容退出
    System.in.read();
}

 

@Service
public class CommodityService {
    class Request {
        String commdityCode;
        CompletableFuture<Map<String, Object>> future; // 接受结果
    }

    // 积攒 请求。(每隔N毫秒批量处理一次)
    LinkedBlockingQueue<Request> queue = new LinkedBlockingQueue<>();

    // 定时任务的实现,N秒钟处理一次数据
    @PostConstruct
    public void init() {
        ScheduledExecutorService scheduledExecutorService = Executors.newScheduledThreadPool(1);
        scheduledExecutorService.scheduleAtFixedRate(() -> {
            // 1、 取出queue的请求,生成一次批量查询
            int size = queue.size();
            if (size == 0) {
                return;
            }
            ArrayList<Request> requests = new ArrayList<>();
            for (int i = 0; i < size; i++) {
                Request request = queue.poll();
                requests.add(request);
            }
            System.out.println("批量处理数据量:" + size);
            // 2、 组装一个批量查询(一定需要 目的资源能够支持批量查询。 http)
            ArrayList<String> commodityCodes = new ArrayList<>();
            for (Request request : requests) {
                commodityCodes.add(request.commdityCode);
            }
            List<Map<String, Object>> responses = queryServiceRemoteCall.queryCommodityByCodeBatch(commodityCodes);

            // 3、将结果响应 分发给每一个单独的用户请求。  由定时任务处理线程 --> 1000个用户的请求线程
            // [
            // {"code":"500",star: tony}
            // {"code":"600",star: tony}
            // ]
            HashMap<String, Map<String, Object>> responseMap = new HashMap<>();
            for (Map<String, Object> response : responses) {
                String code = response.get("code").toString();
                responseMap.put(code, response);
            }
            for (Request request : requests) {
                // 根据请求中携带的能表示唯一参数,去批量查询的结果中找响应
                Map<String, Object> result = responseMap.get(request.commdityCode);
                // 将结果返回到对应的请求线程
                request.future.complete(result);
            }
        }, 0, 10, TimeUnit.MILLISECONDS);
    }

    @Autowired
    QueryServiceRemoteCall queryServiceRemoteCall;

    // 1000 用户请求,1000个线程
    public Map<String, Object> queryCommodity(String movieCode) throws ExecutionException, InterruptedException {
        // 1000次 怎么样才能变成  更少的接口
        // 思路: 将不同用户的同类请求合并起来
        // 并非立刻发起接口调用,请求 收集起来,再进行
        Request request = new Request();
        request.commdityCode = movieCode;
        // 异步编程: 获取异步处理的结果
        CompletableFuture<Map<String, Object>> future = new CompletableFuture<>();
        request.future = future;
        queue.add(request);
        return future.get(); // 此处get方法,会阻塞线程运行,直到future有返回
        // 什么时候返回结果? 批量查询之后。 怎么进行等待
        // return queryServiceRemoteCall.queryMovieInfoByCode(movieCode);
    }


}
@Service
public class QueryServiceRemoteCall {

    /**
     * 调用远程的商品信息查询接口
     *
     * @param code 商品编码
     * @return 返回商品信息,map格式
     */
    public HashMap<String, Object> queryCommodityByCode(String code) {
        try {
            Thread.sleep(50L);
        } catch (InterruptedException e) {
            e.printStackTrace();
        }
        HashMap<String, Object> hashMap = new HashMap<>();
        hashMap.put("commodityId", new Random().nextInt(999999999));
        hashMap.put("code", code);
        hashMap.put("phone", "huawei");
        hashMap.put("isOk", "true");
        hashMap.put("price","4000");
        return hashMap;
    }

    /**
     * 批量查询 - 调用远程的商品信息查询接口
     *
     * @param codes 多个商品编码
     * @return 返回多个商品信息
     */
    public List<Map<String, Object>> queryCommodityByCodeBatch(List<String> codes) {
        // 不支持批量查询 http://moviewapi.com/query.do?id=10001     --> {code:10001, star:xxxx.....}
        // http://moviewapi.com/query.do?ids=10001,10002,10003,10004   --> [{code:10001, star///}, {...},{....}]
        List<Map<String, Object>> result = new ArrayList<>();
        for (String code : codes) {
            HashMap<String, Object> hashMap = new HashMap<>();
            hashMap.put("commodityId", new Random().nextInt(999999999));
            hashMap.put("code", code);
            hashMap.put("phone", "huawei");
            hashMap.put("isOk", "true");
            hashMap.put("price","4000");
            result.add(hashMap);
        }
        return result;
    }
}

弊端:

实行合并请求实际上是执行实际路基之前增加了延迟,如果平均需要5毫秒的执行时间,放在10毫秒做一次批处理的场景下,则最坏的情况可能变成15秒(不适合低延迟的RPC场景、低并发场景)

 

十三、异步并发进修——请求缓存与请求合并实战 创建一个服务类,该类使用。 阅读详情

相关推荐

Docker 安装 CentOS7

本文主要介绍了docker 下安装centos7。访问 CentOS 镜像库地址:https://hub.docker.com/_/centos?tab=tags&page=1。可以通过 Sort by 查看其他版本的 CentOS 。默认是最新版本 centos:latest 。 使用以下命令来查看是否已安装了 centos7: 启动centos容器,并把docker上centos的22端口映射到本机60001端口(端口号可以自己指定) 3、进入到Centos容器 4.安装ssh服务和网络必须软件

折腾java的博客 1万+

接口请求合并技巧,用好了效率直接翻倍!

一、什么是请求合并在WEB项目中,我们一般会使用HTTP协议来处理请求那么我们与服务器交互方式将会是这样的,一次请求,一次处理我们都知道,调用批量接口相比调用非批量接口有更大的性能优势(因为减少了IO交互操作),在高并发情况下,如果有非常频繁的接口请求发生的话,我们则可以考虑请求合并了,将多个请求进行一定的等待延迟,当请求累计达到一定量级的时候,进行批量请求处理二、请求合并的优缺点所谓请求合并,就...

Java知音 1611

在 dell precision 7920 tower CentOS 8 Stream 上安裝nvidia驱动程序、Anaconda

简单记录一下如何在实验室dell precision 7920 tower CentOS 8 Stream上安装nvidia显卡驱动。

chen9046的博客 995

高性能手段之合并请求

请求合并顾名思义就是将客户端产生的多个请求归并到一个一次对下游的请求请求合并本质上是时间换空间(性能)的一个思路,利用时间的消耗来积累请求并实现合并请求提高性能的目的,本身也是一种优化手段。有人会说时间延长时间不是让请求时间处理变长了吗?未必,这要结合业务场景以及业务量来综合考量。时间换空间、空间换时间最终的目的都是提升我们系统性能的手段,没有哪个是绝对好的,我们要综合考虑,结合系统现状看哪个带来的收益大就用哪个手段。

am_danger 2249

LTspice仿真三线制PT100高精度测温系统设计

本文详细介绍了如何使用LTspice仿真设计三线制PT100高精度测温系统。文章从三线制原理出发,逐步讲解了在LTspice中建模PT100、构建惠斯通电桥进行信号转换、设计差分放大与滤波电路、选型ADC以及进行系统联调与误差分析的全过程,旨在帮助工程师实现0.5°C分辨率的工业测温方案设计。

pz89012345的博客 100

片上眼图(Eye-opening monitor)

当它们值不同的时候error counter +1,通过统计RX到的码元个数、error counter,可以获得offset sampler上下左右不停的调整位置时的一个误码率(BER),通过这个误码率去描绘出眼图。如上图所示,eye-scan RX端 offset sampler独立且并行的和使用CDR sample的采样电路一起跑,offset-sampler可以任意调整水平(time)和垂直(voltage)方向的偏移(如下图所示),在一个UI内产生一个全新的sample点。

沈土豪的书屋 4420

请求合并的三种方式,大大提高接口性能!

程序员的成长之路互联网/程序员/技术/资料共享关注阅读本文大概需要 8 分钟。作者:zhenbianshu来源:https://zhenbianshu.github.io/将相似或重复请...

良月柒 1734

【AI智能体】图像处理-生成营销 Banner 图

生成营销 Banner 图是一款用于制作营销图片的智能体,它可以根据指定的营销活动内容,快速生成活动 Banner 图片,降低活动运营成本、提高制图效率。

AI创变工坊,和1000万新个体创业者一起成长!愿大家都能跟上时代的洪流,不被社会淘汰,愿大家的生活工作收入都能具备竞争力! 1175

定时线程池实现请求合并

使用定时线程池实现请求合并技术,降低高并发下服务器压力

胖虎儿的博客 7616

【2021末九软工边缘人保研】川大-中科院网络中心-华师夏令营+哈工大本-中科院网络中心-西交-厦大-中山-武大-北航预推免

2021末九软工边缘人保研记录一、写在前面二、个人背景 一、写在前面 2020年计算机保研可谓是诸神黄昏,卷的头破血流(指我等菜鸡)。疫情的原因,今年的夏令营和预推免基本全部改为线上,机试取消,能不能拿到offer基本完全取决于背景以及面试表现(当然也有个别头铁非要机试,甚至笔试的学校)。大佬们offer收割不停,我等边缘人只能看着一封封拒信发呆。 这种情况下,只有985 Rank5%以及211 Rank2%之前的大佬能够较为轻松地拿到面试入场券。贴一个上交电院夏令营要求你们感受一下: 预推免相比起夏令营

weixin_43222706的博客 4236

YOLO11改进|卷积篇|引入多样化分支块DBB

YOLO11中添加多样化分支块DBB

A1983Z的博客 1450

git 请求合并和审核请求合并

1.创建请求合并 2. 标识1 选择合并的分支 , 标识2 合并到目标分支, 然后点击标识3 3. 点击标识1 创建请求合并 4. 等待审批合并请求,审批人会看到有合并申请 5. 点击标识1 查看合并请求 6. 标识1 合并并提交, 里面有 “Merge” 直接点击就可以合并提交。标识2查看详情。由于是项目不好直接截图,望谅解! ...

奔跑的熊猫 7432

WPF实现圆形菜单动态展开折叠效果

实现效果如下: 思路:根据子菜单个数计算旋转角度动态生成子菜单,并设置展开折叠动画。 步骤: 1、自定义按钮MyButton,建立展示图像属性DisplayImage public class MyButton : Button { public static readonly DependencyProperty DisplayImageProperty = DependencyProperty.Register("DisplayImage", typeof(

dnazhd的博客 3152

SpringCloudHystrix之请求合并

文章目录1. 基于继承实现2. 基于注解实现 写在前面 该文参考来自 程序猿DD 的Spring Cloud 微服务实战一书,该文是作为阅读了 spring cloud hystrix 一章的读书笔记。书中版本比较老,我选择了最新稳定版的 spring cloud Greenwich.SR2 版本,该版本较书中版本有些变动。非常感谢作者提供了这么好的学习思路,谢谢!文章也参考了 Spring-...

我与风来 791

最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版

Part-E1-SDIO-Specification-Ver4.00-Final-120220.pdf:最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版,包括SDIO 接口的外设,SDIO 接口官方协议等。

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

请求合并的总结

这几天基本每天都会看视频跟着学习一些东西,然后总结一下。 今天的总结是关于请求合并。 业务背景:优化接口的处理。预防系统为线程开销过大导致OOM。 处理思路:时间换空间的一种处理方式,在方法级别上 将同一时间请求的参数暂时堆积一起,然后合并成一个批量请求到数据库或者下游业务上。将线程开销的压力阻塞在上游服务上。 应用场景:部分业务在高并发的情况下会因为系统线程开销出现问题,但是专门为这个业...

Li_work的专栏 813

Devexpress16.2.6破解工具

Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具

HTTP请求合并 vs HTTP并行请求

今天项目遇到一个问题,请求合并和请求拆解哪一个效率更高,一直我都是认为请求合并比拆解效率上来说更好,但是其实并不是这么回事。 浏览器是可以并行下载资源的,将多个资源合并成一个资源,只使用一个HTTP请求下载,不一定会比用多个HTTP请求并行下载没有合并过的多个资源速度更快。 HTTP请求过程 一个HTTP请求的主要过程是: DNS解析(T1) -&amp;amp;gt; 建立TCP连接(T2) -&amp;amp;gt; 发送请...

归小超博客 4459

文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况

主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。

Spring Cloud Hystrix的请求合并

在获取到批量请求结果之后,通过请求合并器再将批量结果拆分并分配给每个被合并的请求。所以在资源有效并且在短时间内会产生高并发请求的时候,为避免连接不够用而引起的延迟可以考虑使用请求合并器的方式来处理和优化。在上面的构造函数中,我们为请求合并器设置了时间延迟属性,合并器会在该时间窗内收集获取单个User的请求并在时间窗结束时进行合并组装成单个批量请求。接口的请求被请求合并器拦截下来,并在合并器中进行组合,然后将这些请求合并成一个请求发向。接下来,我们通过一个简单的示例来直观的理解实现请求合并的过程。

2401_89224931的博客 1012

Java请求合并_高并发场景下请求合并的实践

前言项目中一般会请求第三方的接口,也会对外提供接口,可能是RPC,也可能是HTTP等方式。在对外提供接口时,有必要提供相应的批量接口,好的批量实现能够提升性能。高并发场景中,调用批量接口相比调用非批量接口有更大的性能优势。但有时候,请求更多的是单个接口,不能够直接调用批量接口,如果这个接口是高频接口,对其做请求合并就很有必要了。比如电影网站的获取电影详情接口,APP的一次请求是单个接口调用,用户量...

weixin_33042659的博客 1111

Gitlab 分支合并与请求合并的实战指南

本文提供了一份GitLab分支合并与请求合并的实战指南。通过清晰的步骤解析,详细介绍了如何创建功能分支、发起合并请求、处理代码审查以及解决合并冲突,旨在帮助开发团队建立高效、规范的代码协作与集成流程。

water的专栏 749

Hystrix请求合并

目录 一、介绍 二、代码示例 1. 请求合并HystrixCollapserService 2. 批量请求BatchCommandService 3. 调用 三、参考资料 一、介绍 Hysrix利用一个合并处理器,将对同一个服务发起的连续请求合并成一个请求批量处理,即:多个单个请求转换为单个批量请求,实际是批量请求模式。 核心类com.netflix.hystrix.HystrixCollapser,默认连续10ms(timerDelayInMillisec...

爱我所爱0505 562

Hystrix—请求合并

通常微服务架构中的依赖通过远程调用实现,**而远程调用中最常见的问题就是通信消耗与连接数占用。**在高并发的情况下,因为通信次数的增加,总的通信时间消耗会变得不那个理想。同时,因为对依赖服务线程池资源有限,将出现排队等待与响应延迟的情况。为了优化这两个问题,Hystrix提供了HystrixCollapser来实现请求的合并,以减少通信消耗和线程数的占用。 1. 理论 1. 请求合并的优点 ...

qq_29595463的博客 453

如何创建GitLab 合并请求?

如何创建gitlab合并请求?根据这个问题GitLab 会将该议题和合并请求交叉链接,并将议题关闭模式添加到合并请求的描述中。如果您的项目配置了关闭模式,则当合并请求被合并时,议题会自动关闭。如果您创建的分支名称以任务号为前缀,GitLab 会将该任务和合并请求交叉链接,并将关闭模式添加到合并请求的描述中。如果您的项目配置了关闭模式,则当合并请求被合并时,任务会自动关闭。如果您的开发工作流要求每个合并请求都有一个议题,您可以直接从议题创建分支,以加速这一过程。

GitLab 中国发行版 2528

请求合并java_Hystrix:HystrixCollapser请求合并

偶尔在spring4all,看到DiDi关于hystrix请求合并的一篇文章 Spring Cloud Hystrix的请求合并,查阅资料又整理了一下。具体业务概念,什么是请求合并?请求合并优缺点?可以参考DiDi的文章,然后我把我使用过程中的问题及解决方法写出来## 代码### 合并请求服务实现@HystrixCollapser(batchMethod = "testAll", collapse...

weixin_36421280的博客 313

Hystrix-请求合并

一)请求合并处理雪崩 1)下图为一个的Constomer调用Provider的图 下图为在同一时间下共有的6个Customer要消费的Provider,那么此时就要通过的TOmcat的线程池创建6个线程访问的Provider,此时是没什么问题的。但是如果是500、1000个呢?Tomcat线程池是有上限的这样的势必是对Provider一个的跳转,如果压力过大Provider肯定是要出现问题的。那么...

失忆๑的博客 1326

Java请求合并_Hystrix-request collapsing(请求合并)

介绍:Hystrix的请求合并就是把重复的请求批量的用一个HystrixCommand命令去执行,以减少通信消耗和线程数的占用。Hystrix的请求合并用到了HystrixCollapser这个抽象类,它在HystrixCommand之前前放置一个合并处理器,将处于一个很短的时间窗(默认10ms)内对同一依赖服务的多个请求进行整合并以批量方式发起请求的功能(服务提供方也需要提供相应的匹狼实现接口)...

weixin_35094077的博客 594
上一篇: 事务
下一篇: Synchronized底层实现,锁升级的具体过程
一切还来得及
博客等级 码龄11年 50粉丝 19原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值