没有预热,这不叫“高并发”,叫“并发高”!

高并发学生选课系统设计 高并发选课系统设计 简述 学生选课系统类似于秒杀系统,都是要在一个时间段内抗住高并发。因此我们的学生选课系统可以按照秒杀系统来设计。 学生选课系统的QPS其实远远不及秒杀系统,毕竟一个学校最多也就同时几千个人选课,因此在架构上可以不用设计的太麻烦,只要能抗住高并发,让学生都有操作空间就可。但本文想抛开现实,按照秒杀系统来好好设计一下选课系统。 开发技术 SpringCloud,Mybatis-plus,MySQL,Redis,redisson,RabbitMQ,Quartz 数据表设计 teacher(教师 阅读详情

大家都知道,高并发系统有三把斧子:缓存、熔断和限流。但还有一把斧子,经常被遗忘在角落里,郁郁不得志,那就是预热。

一、现象举例

先说两个现象。这些现象,只能在并发高的系统中出现。

好吧,它已经引起了多个故障。

1、DB重启后,瞬间死亡

一个高并发环境下的DB,进程死亡后进行重启。由于业务处在高峰期间,上游的负载均衡策略发生了重分配。刚刚启动的DB瞬间接受了1/3的流量,然后load疯狂飙升,直至再无响应。

原因就是:新启动的DB,各种Cache并没有准备完毕,系统状态与正常运行时截然不同。可能平常1/10的量,就能够把它带入死亡。

2、服务重启后,访问异常

另外一个常见的问题是:我的一台服务器发生了问题,由于负载均衡的作用,剩下的机器立马承载了这些请求,运行的很好。当服务重新加入集群时,却发生了大量高耗时的请求,在请求量高的情况下,甚至大批大批的失败。

引起的原因大概可以归结于:

(1)服务启动后,jvm并未完全准备完毕,JIT未编译等。

(2)应用程序使用的各种资源未准备就绪。

(3)负载均衡发生了rebalance。

这两个问题,都是没有做好预热

Warm Up,即冷启动/预热的方式。当系统长期处于低水位的情况下,流量突然增加时,直接把系统拉升到高水位可能瞬间把系统压垮。通过"冷启动",让通过的流量缓慢增加,在一定时间内逐渐增加到阈值上限,给冷系统一个预热的时间,避免冷系统被压垮。

我想要这样的曲线。

 

二、事实要复杂的多

流量是不可预测的,这不同于自然增长的流量,或者人为的***----这是一个从无到有的过程。甚至一些自诩超高速的组件,如lmax的disruptor,在这种突然到来的洪峰之下也会崩溃。

warmup最合适的切入层面就是网关。如图:node4是刚启动的节点,集成在网关中的负载均衡组件,将能够识别出这台刚加入的实例,然后逐步放量到这台机器,直到它能够真正承受高速流量。

假如所有的请求,都经过网关,一切都好办的多,也有像Sentinel 之类的组件进行切入。但现实情况往往不能满足条件。比如:

(1)你的应用直接获取了注册中心的信息,然后在客户端组件中进行了流量分配。

(2)你的应用通过了一些复杂的中间件和路由规则,最终定位到某一台DB上。

(3)你的终端,可能通过了MQTT协议,直接连上了MQTT服务端。

我们进行一下抽象,可以看到:所有这些流量分配逻辑,包括网关,都可以叫做客户端。即所有的warmup逻辑都是放在客户端的,它们都与负载均衡紧密耦合在一起。

三、解决方式

1、接口放量

按照以上的分析,通过编码手段控制住所有的客户端调用,即可解决问题。

一个简单的轮询方式

(1)我要能拿到所有要调用资源的集合,以及启动时间,冷启动的配置等。

(2)给这些资源分配一些权重,比如最大权重为100,配置100秒之后冷启动成功。假如现在是第15秒,则总权重就是100*(n-1)+15。

(3)根据算好的权重,进行分配,流量会根据时间流逝逐步增加,直到与其他节点等同。

(4)一个极端情况,我的后端只有1个实例,根本就启动不起来。

拿SpringCloud来说,我们就要改变这些组件的行为。

(1)ribbon的负载均衡策略。

(2)网关的负载均衡策略。

还好,它们都是基础组件,不用来回拷贝代码了。

2、走马观花

顾名思义,意思就是把所有的接口都提前访问一遍,让系统对资源进行提前准备。 比如,遍历所有的http连接,然后发送请求。 这种方法是部分有效的,一些懒加载的资源会在这个阶段陆续加载进来,但不是全部。 JIT等一些增强功能,可能使得预热过程变得非常的长,走马观花的方式,只能在一定程度上有作用。

再比如某些DB,在启动之后,会执行一些非常有特点的sql,使得PageCache里加载到最需要的热数据。

3、状态保留

系统在死亡时做一个快照,然后在启动时,原封不动的还原回来。

这个过程就比较魔幻了,因为一般的非正常关闭,系统根本没有机会发表遗言,所以只能定时的,在运行中的系统中做快照。

节点在启动时,再将快照加载到内存中。这在一些内存型的组件中应用广泛。

四、End

通过比较,我们发现,最靠谱的方式还是进行编码,将warmup逻辑集成在客户端。这个工作可能是痛苦的、漫长的,但结局是美好的。

当然也可以通过“摘除nginx->修改权重->reload nginx”的方式。有时很有效但不总是有效,通常很放心但不总是放心。

一切随你。毕竟没有前戏直奔主题,那叫鲁莽。

【项目实战】Apache JMeter设置线程(用户)数、预热时间(Ramp-Up Period),以及循环次数来实现不同并发用户数的模拟 设定了500个线程。这表示模拟的并发用户数量为500。每个线程都将独立地执行测试脚本中的采样器。:设置为1秒。这个参数指的是所有线程启动完毕所需的时间。也就是说,500个线程将在1秒钟内全部启动。这意味着每秒会有500个线程同时开始运行,即以非常快的速度达到最大并发量。对于这样的高并发瞬间增加,被测试系统可能会面临很大的压力,甚至可能导致不准确的测试结果或系统的不稳定。通常建议将Ramp-UpPeriod设定得足够长,以便更平滑地增加负载,使得测试更加接近真实的用户行为。 阅读详情

相关推荐

3种六轴IMU姿态解算算法对比:互补滤波、Mahony与卡尔曼滤波性能实测

本文深入对比了三种六轴IMU姿态解算算法:互补滤波、Mahony与卡尔曼滤波的性能表现。通过实测数据分析了各算法在精度、计算复杂度和适用场景上的差异,为无人机、机器人等运动控制系统提供了选型建议。重点探讨了六轴陀螺仪与加速度传感器的数据融合技术,帮助开发者根据项目需求选择最优解算方案。

weixin_29054245的博客 343

没有预热,这不叫高并发,叫并发高

大家都知道,高并发系统有三把斧子:缓存、熔断和限流。但还有一把斧子,经常被遗忘在角落里,郁郁不得志,那就是预热。 现象举例 先说两个现象。这些现象,只能在并发高的系统中出现。 好吧,它已经引起了多个故障。 一、DB重启后,瞬间死亡 一个高并发环境下的DB,进程死亡后进行重启。由于业务处在高峰期间,上游的负载均衡策略发生了重分配。刚刚启动的DB瞬间接受了1/3的流量,然后lo...

weixin_30569153的博客 121

Allan方差读图分析IMU误差指标

Allan方差标定IMU参数实测分析

weixin_44927558的博客 3567

高并发系统设计:降级、熔断、限流与缓存预热

缓存降级是指当访问量剧增、服务出现问题(比如响应时间慢或者不响应)或者非核心服务影响到核心流程的性能时,即使是有损部分其他服务,仍然需要保证主服务可用,可以将其他次要访问的数据进行缓存降级,从而提升主服务的稳定性 降级的目的是保证核心服务可用,即使可能有损其他操作。比如双十一的时候淘宝购物车无法修改地址只能使用默认地址,这个服务就是被降级了,这是阿里为了保证订单可以正常提交和付款,但修改地址的服务可以在服务器压力降低,并发量相对减少的时候再恢复。 缓存降级是指缓存失效或者缓存服务器挂掉的情况下,不去访问数

OceanStar的博客 4583

【STM32】STM32 CANFD外设的几种消息接收过滤模式

在控制器区域网络(CAN)系统中,正确配置消息过滤器对于有效管理网络通信至关重要。特别是在使用Flexible Data-rate Controller Area Network(FDCAN)时,选择合适的过滤器类型可以大大提高网络效率和消息处理速度。

林愿留的博客 6230

51单片机-点亮LED和蜂鸣器

ULN2003是高耐压、大电流达林顿陈列,由七个硅NPN达林顿管组成。ULN2003是大电流驱动陈列,多用于单片机、只能仪表、PLC、数字量输出卡等控制电路中。可直接驱动蜂鸣器、继电器等负载。void delay(u16 i) // i等于1大约10uswhile(i--);//取反,高低电平不断变化,产生脉冲delay(10);// 周期200us。

三日沐水 1131

高并发中的 限流、熔断、降级、预热、背压!

原创:小姐姐味道(微信公众号ID:xjjdog),欢迎分享,转载请保留出处。首先,我们需要明确一下这几个名词出现的场景:分布式高并发环境。如果你的产品卖相不好,没人鸟它,那它就用不着这几个...

小姐姐味道 703

学习使用turtlebot2——ROS上安装turtlebot2

安装环境:    安装Ubuntu 14.04版本和ROS Indigo    参考:http://wiki.ros.org/turtlebot/Tutorials安装步骤    有两种安装方法,一种直接的安装命令,另外一种源码编译安装,区别在于:直接安装命令是安装在电脑默认路径/opt/ros/indigo/share里面不便于更改代码,因为默认路径下文件一般有访问权限,无法直接更改,需要使用s...

weixin_42670641的博客 2532

没有预热,不叫高并发,叫并发高

大家都知道,高并发系统有三把斧子:缓存、降级和限流。但还有一把斧子,经常被遗忘在角落里,郁郁不得志,那就是预热。 现象举例 先说两个现象。这些现象,只能在并发高的系统中出现。 好吧,它已经引起了多个故障。 一、DB重启后,瞬间死亡 一个高并发环境下的DB,进程死亡后进行重启。由于业务处在高峰期间,上游的负载均衡策略发生了重分配。刚刚启动的DB瞬间接受了1/3的流量,然后load疯...

小姐姐味道 1772

48、住宅抵押贷款支持证券的定价、风险评估与结构化设计

本文深入探讨了住宅抵押贷款支持证券(RMBS)的定价、风险评估与结构化设计。内容涵盖提高定价准确性的方差缩减方法,如准蒙特卡罗序列的应用;分析RMBS面临的利率风险、信用风险和模型风险,并提出相应的度量与应对策略;介绍利用动态规划优化CMO分层结构以最大化发行利润的方法。同时总结了RMBS的基本类型、定价流程及市场发展趋势,为投资者和发行人提供全面的决策支持。

quiet的专栏 156

【图像拼接(Image Stitching)】关于【图像拼接论文精读】专栏的相关说明,包含专栏使用方法、阅读顺序、创新思路、文章汇总、源码汇总、数据集汇总等。总之,【图像拼接论文相关】看这一篇就够了

为什么会有这篇文章?因为专栏简介里写不下太多东西,只能通过这篇文章和大家交流,算是一个专栏阅读指南吧。说点心里话本来吧,我只想用优快云来记录自己学习【图像拼接】领域论文的过程,对每篇文章有个细致的理解,方便自己反复查阅。设置为付费也是因为涉及论文和本人其他项目需要,防止查重和其他问题,所以价格最开始设置的是专栏付费价格里最高的。起初,确实没有人看,一切也都平淡地度过着。

主要更新底层视觉(去噪、超分等)相关的科研内容,形式为【论文精读】+【论文复现】 4万+

[转帖]没有预热,不叫高并发,叫并发高

没有预热,不叫高并发,叫并发高 大家都知道,高并发系统有三把斧子:缓存、熔断和限流。但还有一把斧子,经常被遗忘在角落里,郁郁不得志,那就是预热。 作者:小姐姐养的狗来源:小姐姐味道|2019-06-28 10:55 收藏 分享 http://developer.51cto.com/art/201906/598514.htm 大家都知道,高并...

weixin_30765475的博客 106

错误代码:11300001 数据集 [xxx] 配置错误“=”附近有语法错误(原理分析)

错误代码:11300001 数据集 [1_Workshift] 配置错误“=”附近有语法错误。

码农研究僧的博客 916

没有预热,不叫高并发「限流算法第三把法器:令牌桶算法」- 第302篇

相关历史文章(阅读本文之前,您可能需要先看下之前的系列????) 「定制SpringBootAdminUI的页面」-第298篇 国内最全的SpringBoot系列之三 版本号命名的前世今生-值得收藏-第299篇 「世界上最好的学习法:费曼学习法」 高并发,不怕不怕「限流算法第一把法器:计数器法」 - 第300篇 精度不够,滑动时间来凑「限流算法第二把法器:滑动时间窗口算法」-...

悟纤学院 2万+

SAP B1中文培訓教材_SDK

公司内部培训资料,对开发工具 ,DIAPI, UIAPI,Add-ON有详细解说

NTscan扫描工具

ntscan是一个扫描器,可以扫描没有密码和弱密码的共享,先到配置文件中填写猜测的用户名和密码,扫描过程中右侧出现的是扫描日志。

经过负载均衡图片加载不出来_没有预热,这不叫高并发,叫并发高

大家都知道,高并发系统有三把斧子:缓存、熔断和限流。但还有一把斧子,经常被遗忘在角落里,郁郁不得志,那就是预热。现象举例先说两个现象。这些现象,只能在并发高的系统中出现。好吧,它已经引起了多个故障。一、DB重启后,瞬间死亡一个高并发环境下的DB,进程死亡后进行重启。由于业务处在高峰期间,上游的负载均衡策略发生了重分配。刚刚启动的DB瞬间接受了1/3的流量,然后load疯狂飙升,直至再无响应。原因就...

weixin_39637151的博客 283

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

高并发架构中的缓存预热实践:从理论到落地

缓存预热是提升系统性能的关键技术,通过提前加载热点数据到缓存层,有效防止高并发流量冲击数据库。本文详细解析了缓存预热的五大核心环节:1)价值定位(防穿透、降延迟、稳容量);2)数据筛选策略(基于访问频率、业务优先级、时效性);3)触发时机选择(定时/事件/手动);4)并发控制与熔断机制(限流/分批/熔断);5)效果验证(覆盖率/一致性/性能)。文章结合电商、直播等典型场景,提供了可落地的Python代码实现,包括数据筛选、Celery任务调度、带熔断的并发控制等关键实践方案,帮助开发者构建高性能缓存体系。

没事学AI的博客 957

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

java实用型-高并发下RestTemplate的正确使用

文章目录前言一、RestTemplate是什么?二、如何使用1.创建一个bean2.使用步骤三、高并发下的RestTemplate使用总结 前言 如果java项目里有调用第三方的http接口,我们可以使用RestTemplate去远程访问。也支持配置连接超时和响应超时,还可以配置各种长连接策略,也可以支持长连接预热,在高并发下,合理的配置使用能够有效提高第三方接口响应时间 一、RestTemplate是什么? RestTemplate是Spring提供的用于访问Rest服务的客户端,RestTemplate

qq_37892675的博客 1万+

高并发场景下缓存预热的五大核心设计策略详解

摘要: 本文探讨缓存预热技术在高并发系统中的应用,重点分析其目标定位、热点数据识别和预热策略。缓存预热通过预先加载热点数据,解决缓存雪崩问题,提升系统响应速度并保护数据库。热点数据识别基于历史日志分析、实时监控和业务规则,实现精准筛选。预热策略分为全量和增量两种,全量适用于数据量小且分布均匀的场景,增量则针对大数据量集中访问情况。通过Java代码示例展示了商品缓存预热、热点数据识别及混合预热策略的实现方法,为优化系统性能提供实用方案。

没事学AI的博客 970

Java高并发解决方案

电商的秒杀和抢购,对我们来说,都不是一个陌生的东西。然而,从技术的角度来说,这对于Web系统是一个巨大的考验。当一个Web系统,在一秒钟内收到数以万计甚至更多请求时,系统的优化和稳定至关重要。这次我们会关注秒杀和抢购的技术实现和优化,同时,从技术层面揭开,为什么我们总是不容易抢到火车票的原因? 一、大规模并发带来的挑战 在过去的工作中,我曾经面对过5w每秒的高并发秒杀功能,在这个过程中,整个W...

longzhongxiaoniao的博客 9万+

【杂类】应对 MySQL 处理短时间高并发的请求:缓存预热

​缓存预热(Cache Warm-up)​核心要点说明​​是什么​​系统启动或高峰前,​​主动加载热点数据​​到缓存的过程。​​为什么​​防止冷启动时大量请求​​穿透​​到数据库,导致数据库​​崩溃​​。​​何时做​​1. ​​系统重启后​​2. ​​每日低谷期​​(如凌晨)3. ​​已知的高并发活动前​​(如大促、秒杀)。​​怎么做​​1. ​​全量预热​​:启动时加载所有热点。2. ​​增量预热​​:定时任务更新热点。3. ​​分级预热​​:本地缓存+分布式缓存。​。

2301_79816047的博客 1080

当下热点词再学:redis缓存预热、更新、降级,限流

愿打开此篇对你有所帮助。

看,未来的博客 6227
上一篇: 分布式数据库中间件 MyCat 搞起来!
下一篇: 面试官:说说Spring中的事务传播行为
加班不秃顶
博客等级 码龄7年 1822粉丝 599原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值