涨姿势 | 服务重启后,为什么发生抖动?

深入解读云场景下的网络抖动 借助于网络抖动三剑客(Pingtrace、Rtrace、Netinfo),我们很容易知道系统的抖动点和原因。但是这些可能只是我们自己的理解,我们基于云场景做了很多探索,并把这些探索沉淀到了龙蜥操作系统,还进行了很多优化。 阅读详情

点击上方“芋道源码”,选择“置顶公众号”

技术文章第一时间送达!

源码精品专栏

 

来源:http://t.cn/8s3Cvxm

  • 一、问题描述

  • 二、问题排查方法

  • 三、现象解释

  • 四、解决思路

    • 1)预热

    • 2)启动多个线程进行编译优化

    • 3)采用多层编译

  • 五、结果分析


一、问题描述

在发布或重启某线上某服务时(jetty8作为服务器),常常发现有些机器的load会飙到非常高(高达70),并持续较长一段时间(5分钟)后回落(图1),与此同时响应时间曲线(图2)也与load曲线一致。注:load飙高的初始时刻是应用服务端口打开,流量打入时(load具体指什么可参考http://www.cnblogs.com/amsun/p/3155246.html)。

img

图1 发布时候load飙高

img

图2 发布时候响应时间飙高

二、问题排查方法

发布时对资源使用情况进行监控。

1)通过top -H -p 查找cpu使用率较高的线程,发现2129和2130这两个线程cpu使用较高。

img

图3 查找cpu使用率较高的线程

2)通过jstack打印栈信息,并将线程号2129和2130转换成16进制(printf "%x\n" 2129),分别为851和852,发现这两个线程是编译线程(表1)。此外当这两个线程cpu使用率降低后load以及响应时间也马上恢复了正常,时间点非常吻合。

表1 cpu使用率较高的两个线程详细信息

"C2 CompilerThread1" daemon prio=10 tid=0x00007fce48125800 nid=0x852 waiting on condition [0x0000000000000000]``java.lang.Thread.State: RUNNABLE``Locked ownable synchronizers:``- None``"C2 CompilerThread0" daemon prio=10 tid=0x00007fce48123000 nid=0x851 waiting on condition [0x0000000000000000]``java.lang.Thread.State: RUNNABLE``Locked ownable synchronizers:``- None

三、现象解释

C2 CompilerThread线程项目启动初期cpu使用率那么高,它在干什么呢?

Java程序在启动的时候所有代码的执行都处于解释执行模式,只有在运行了一段时间后,根据代码方法执行的次数,或代码里循环的执行次数等达到一定的阈值才会编译成机器码,编译成机器码后执行效率会得到大幅提升,而随着执行时间进一步拉长,JVM的各种更高级的编译优化手段就会逐渐加上,例如if条件的执行状况,逃逸分析等。这里的C2 CompilerThread线程干的就是编译优化的活。

现在貌似可以解释之前的现象了。

在程序刚启动的时候,java还处于解释执行模式,因此服务效率很低,响应时间缓慢,处理得慢了,load自然也就高了。而当流量持续不断导入时,我们代码的很多方法执行次数不断增多,此时C2 CompilerThread线程不断收集优化信息,并且开始将一些热点代码优化编译成本地机器码,因此该线程的cpu使用率增高。而当C2 CompilerThread线程完成初始编译优化过程后,C2 CompilerThread线程的cpu使用率开始下降,与此同时优化后服务的性能大幅提升,服务响应时间也大大缩短,load也下降。

 现在的症结在于编译优化过程持续时间较长,引起抖动。如何降低编译优化的持续时间呢?

四、解决思路

1)预热

如果在服务接受线上请求之前提前完成编译优化过程,那么将能避免此种抖动情况。一般的做法是预热,有两种方法:

a)程序主动预热:在启动完成后,程序主动的访问热点的代码,确保主要的热点代码已被编译成机器码后再放入流量,可通过-XX:+PrintCompilation来确认。

b)复制流量预热:通过tcpcopy软件拷贝一份线上nginx的流量进行预热,完成之后再导入线上流量。

2)启动多个线程进行编译优化

如果能加快编译优化速度,那也能降低解释执行阶段导致的抖动时间。因此可以多拿几个线程来做编译,加快达到高峰性能的速度。

可以使用-XX:CICompilerCount参数来设置编译线程数目,这个值默认是2(之前在栈里看到有两个编译线程),我们可以加到4。

3)采用多层编译

编译方式有三种:1)Client模式;2)Server模式;3)Tiered模式。我们服务默认是Server模式。

Server模式是采用c2高级编译的,会比较耗时且要运行一段时间才会触发编译。 Server模式的优点是编译后程序效率较高;

Client模式比较轻量也比较快触发(比Server模式触发快),编译优化后程序效率不如Server模式;

Tiered模式是Client模式和Server模式的折中,一开始会启用Client模式,可以在启动后更快的让部分代码先进入编译优化阶段,之后会启动Server模式,达到程序效率最大优化的目的。

Oracle JDK 7里的HotSpot VM已经开始有比较好的Tiered编译(tiered compilation)支持,可以设置参数-XX:+TieredCompilation来启动Tiered模式,java 8默认就是Tiered模式。

图4是到 http://www.javaworld.com/article/2078635/enterprise-middleware/jvm-performance-optimization--part-2--compilers.html 截取的不同编译方式的性能比较图,横坐标是时间,纵坐标是性能。可以看出Tired模式开始阶段性能与C1相当,当到达某一时刻后性能与C2相当。

img

图4 不同编译模式的性能比较

五、结果分析

简单起见采用方案2和方案3来进行优化。

采用方案2和3之后进行了多次发布,发布时除个别机器load达到10之外,基本没有过高现象(在2~4范围内),并且短时间(2分钟)内,load都会降到较合理水平(2左右),较发布时的load来看,比优化前要好很多。

方案2和方案3只是降低了抖动持续的时间以及抖动强度,并不能完全避免抖动。真正能避免抖动的方案应该是方案1,通过预热的方式实现平滑发布或重启。



欢迎加入我的知识星球,一起探讨架构,交流源码。加入方式,长按下方二维码噢:

已在知识星球更新源码解析如下:

  • 《精尽 Dubbo 源码解析系列》69 篇。

  • 《精尽 Netty 源码解析系列》61 篇。

  • 《精尽 Spring 源码解析系列》35 篇。

  • 《精尽 Spring MVC 源码解析系列》24 篇。

  • 《精尽 MyBatis 源码解析系列》34 篇。

  • 《数据库实体设计》17 篇。

目前在知识星球更新了《Dubbo 源码解析》目录如下:

01. 调试环境搭建
02. 项目结构一览
03. 配置 Configuration
04. 核心流程一览

05. 拓展机制 SPI

06. 线程池

07. 服务暴露 Export

08. 服务引用 Refer

09. 注册中心 Registry

10. 动态编译 Compile

11. 动态代理 Proxy

12. 服务调用 Invoke

13. 调用特性 

14. 过滤器 Filter

15. NIO 服务器

16. P2P 服务器

17. HTTP 服务器

18. 序列化 Serialization

19. 集群容错 Cluster

20. 优雅停机

21. 日志适配

22. 状态检查

23. 监控中心 Monitor

24. 管理中心 Admin

25. 运维命令 QOS

26. 链路追踪 Tracing

... 一共 69+ 篇

目前在知识星球更新了《Netty 源码解析》目录如下:

01. 调试环境搭建
02. NIO 基础
03. Netty 简介
04. 启动 Bootstrap

05. 事件轮询 EventLoop

06. 通道管道 ChannelPipeline

07. 通道 Channel

08. 字节缓冲区 ByteBuf

09. 通道处理器 ChannelHandler

10. 编解码 Codec

11. 工具类 Util

... 一共 61+ 篇

目前在知识星球更新了《数据库实体设计》目录如下:

01. 商品模块
02. 交易模块
03. 营销模块
04. 公用模块

... 一共 17+ 篇

目前在知识星球更新了《Spring 源码解析》目录如下:

01. 调试环境搭建
02. IoC Resource 定位
03. IoC BeanDefinition 载入

04. IoC BeanDefinition 注册

05. IoC Bean 获取

06. IoC Bean 生命周期

... 一共 35+ 篇

目前在知识星球更新了《Spring MVC 源码解析》目录如下:

01. Spring MVC 面试题
02. Spring MVC 学习指南
03. 调试环境搭建
04. 容器的初始化
05. 组件一览
06. 请求处理一览
07. HandlerMapping 组件
08. HandlerAdapter 组件
09. HandlerExceptionResolver 组件
10. RequestToViewNameTranslator 组件
11. LocaleResolver 组件
12. ThemeResolver 组件
13. ViewResolver 组件

14. MultipartResolver 组件

15. FlashMapManager 组件

... 一共 24+ 篇

目前在知识星球更新了《MyBatis 源码解析》目录如下:

01. 调试环境搭建
02. 项目结构一览
03. MyBatis 面试题合集

04. MyBatis 学习资料合集

05. MyBatis 初始化

06. SQL 初始化

07. SQL 执行

08. 插件体系

09. Spring 集成

... 一共 34+ 篇

源码不易↓↓↓↓↓

点赞支持老艿艿↓↓

【C++】【TensorRT】推理时间抖动排查与优化实战指南 本文详细解析了C++与TensorRT在推理过程中出现的时间抖动问题,提供了从显存拷贝异常到系统资源瓶颈的全面排查与优化方案。通过锁页内存、驱动版本控制、GPU频率锁定等实战技巧,有效解决推理时间不稳定问题,显著提升AI推理服务的实时性和稳定性。 阅读详情

相关推荐

告别抖动!Arduino控制舵机时,除了Servo.write()你还需要注意这3个细节

本文详细解析了Arduino控制舵机时常见的抖动问题,并提供了3个关键解决方案:电源管理、脉冲宽度校准和运动控制优化。通过实战案例和代码示例,帮助开发者实现精准稳定的舵机控制,特别适用于机械臂、云台等复杂项目。

weixin_30772105的博客 477

抖动和延迟之间的区别

延时和抖动是相互关联的两个东西,但是它们并不相同。延时是网络中的一个重要指标,它由四个关键部分组成:处理延时(processing delay),排队延时(queueing delay),传输延时(transmission delay)和传播延时(propagation delay)。它会影响用户体验,并可能因多种因素而发生变化。抖动是基于延时产生的—具体而言,就是前后延时的值不一致。抖动是两个数...

daitu3201的博客 4万+

Godot 4.3 WiggleBone插件:骨骼物理抖动实现角色次级运动

在3D角色动画中,次级运动是提升角色表现力和真实感的关键技术,它模拟了柔软物体(如头发、尾巴、布料)在主体运动后因惯性、弹性和阻尼而产生的自然跟随效果。其原理通常基于弹簧-阻尼物理模型,通过计算骨骼的偏移量来叠加在基础动画之上。这项技术的核心价值在于能以较低的性能开销,将僵硬的关键帧动画转化为富有生命力的动态表现,广泛应用于游戏角色、影视动画和虚拟形象中。本文聚焦于Godot引擎的WiggleBone插件,它基于Godot 4.3的SkeletonModifier3D接口,专门用于实现高效的骨骼抖动物理(J

weixin_28727943的博客 592

java平滑发布_JAVA 程序发布引发性能抖动

发布或重启线上服务时抖动问题解决方案一、问题描述在发布或重启某线上某服务时(jetty8作为服务器),常常发现有些机器的load会飙到非常高(高达70),并持续较长一段时间(5分钟)后回落(图1),与此同时响应时间曲线(图2)也与load曲线一致。注:load飙高的初始时刻是应用服务端口打开,流量打入时(load具体指什么可参考http://www.cnblogs.com/amsun/p/3155...

weixin_39724382的博客 557

Node.js 开发必备:nodemon 热重启原理与工程化配置实战

热重启(Hot Restart)是现代 Node.js 开发提效的核心实践,其本质是通过文件系统监听触发进程自动终止与重建,解决传统手动 Ctrl+C + node 启动带来的重复操作与上下文损耗。底层依赖 fs.watch 或 chokidar 实现变更捕获,结合 child_process 进行安全进程管理,兼顾轻量性与稳定性。该技术显著提升本地迭代效率,广泛应用于 Express、NestJS、TS 项目及 Docker 开发环境。本文深入解析 nodemon 的工作原理、Windows/macOS/

weixin_30613727的博客 300

别再为TwinCAT 3.1安装顺序头疼了!手把手教你VS2019与TwinCAT的正确集成姿势

本文详细介绍了TwinCAT 3.1与VS2019的正确集成方法,帮助开发者避免安装顺序陷阱。从环境准备、彻底清理、VS2019定制化安装到TwinCAT 3.1安装的艺术,提供了全面的避坑指南和疑难排解方案,确保开发环境搭建顺利完成。

385

如何理解容器间混布带来的服务抖动?

有两个:资源竞争和网络延迟。1. 当多个容器共享同一资源时,比如CPU、内存、磁盘等,容易出现资源竞争,导致服务抖动2. 而当多个容器之间的网络延迟较大时,也容易出现服务抖动,影响服务的稳定性。

weixin_57476714的博客 301

IP实时服务中的抖动消除方案

IP实时服务中的抖动消除方案

别再用重启大法了!Spring Boot项目里java.sql.SQLRecoverableException的5个排查姿势(附HikariCP配置)

本文深入探讨了Spring Boot项目中java.sql.SQLRecoverableException的5种高效排查方法,重点解析了HikariCP连接池的配置优化策略。通过实际案例和详细参数说明,帮助开发者解决数据库连接异常问题,提升系统稳定性。文章还介绍了Spring Actuator监控、云原生网络韧性设计等高级技巧,为Java开发者提供全面的异常处理方案。

weixin_30699955的博客 643

小波变换(Wavelet Transform)原理及介绍

小波变换是一种多分辨率时频分析工具,克服了傅里叶变换无法定位时间信息的缺陷。通过可伸缩平移的母小波,它能同时捕捉信号的高频细节(短时特征)和低频轮廓(整体趋势)。其核心原理是利用不同尺度的小波基与信号进行内积运算,生成时频域系数矩阵。小波变换具有动态分辨率特性,高频部分时间精度高,低频部分频率分辨率好。主要应用包括瞬态事件检测、信号降噪、数据压缩(如JPEG2000)和压缩感知(如快速MRI)。

qq_42758052的博客 5500

基于PWM的汽车仪表步进电机微步驱动优化实践

本文深入探讨了基于PWM的微步驱动技术,用于优化汽车仪表步进电机的运行性能。通过将传统的分步驱动升级为PWM微步细分驱动,利用正弦/余弦查表法合成旋转磁场,有效消除了指针抖动与噪声,实现了指针的平滑、精准运动。文章以STM32和VID2905电机为例,提供了详细的硬件连接、代码实现及高级优化技巧,为提升汽车仪表体验提供了实用方案。

weixin_29169505的博客 514

Unity JigglePhysics插件实战:解决导入报错、抖动异常与性能优化

在Unity游戏开发中,实现角色动画的次级运动(如头发、尾巴的晃动)是提升视觉表现力的关键。基于弹簧质点模型的物理模拟技术,通过模拟顶点或骨骼在外力作用下的弹性形变,能够为角色赋予生动的动态细节。这项技术的核心价值在于增强动画的真实感和表现力,广泛应用于角色扮演、动作冒险等游戏类型中。然而,在实际工程实践中,开发者常面临插件导入报错、运行时抖动异常、性能开销大等挑战。本文聚焦于JigglePhysics这一流行插件的实战问题,针对其常见的导入兼容性、参数调优、移动端适配等痛点,提供系统性的解决方案,帮助开发

weixin_33754065的博客 531

【已解决】Claude应用地区限制问题:通过Slack注册与魔法节点切换实战指南

本文详细介绍了如何通过Slack注册和切换魔法节点解决Claude应用地区限制问题。从Slack账号注册、创建工作区技巧,到突破地区限制的关键步骤和成功后的配置使用,提供了全面的实战指南。特别强调了节点选择和网络环境对解决'App unavailable'错误的重要性,帮助用户顺利使用Claude AI助手。

weixin_29209801的博客 1781

CC Switch 模型测试实战:超时怎么配、红灯怎么查、批量巡检的正确姿势

凌晨两点,线上任务卡在一行 API 调用上,你盯着控制台等了四十秒,最后等来一个超时。是网络抽风,供应商网关挂了,还是端点地址早就填错?CC Switch 的模型测试功能(Stream Check)就是回答这个问题的:它向供应商端点发一个真实探测请求,用延迟和状态码把"哪一段坏了"直接标出来。上手不到三分钟,排障时间从小时级压到分钟级。 [![CC Switch 模型测试主界面:供应商列表与健康

gitblog_00535的博客 720

浅谈迪杰斯特拉(Dijkstra)算法和A*算法原理及实现

迪杰斯特拉(Dijkstra)算法和A*算法的原理及实现。

Guo_Zhanyu 9600

PLSQL Developer14连接Oracle详细过程

下载地址:Instant Client for Microsoft Windows (x64) 64-bit | Oracle 中国解压客户端工具到一个目录(解压文件到当前目录,自动合并成一个目录)​ 电脑(右键)→属性→高级系统设置→环境变量→系统环境变量→新建变量名:NLS_LANG 变量值: AMERICAN_AMERICA.ZHS16GBK​ 变量名:TNS_ADMIN 变量值:C:\xiaxinyu\software\Oracle\instantclient_19_10​ 在Oracle客户端(C

summer_fish的专栏 3987

LoRA测试新姿势:Jimeng镜像让模型对比更高效

本文介绍了如何在星图GPU平台上自动化部署🧪 Jimeng LoRA镜像,高效开展LoRA模型横向对比测试。该镜像支持单次加载底座、秒级热切换多个LoRA版本,典型应用于文生图工作流中的风格微调效果验证,显著提升AI美术团队的模型迭代与决策效率。

weixin_31720909的博客 249

SAP 针对不同行业(制造业、零售业、金融业)推出了专属的云解决方案,以下是各行业的核心方案与特点

SAP推出行业专属云解决方案:制造业(SAP Digital Manufacturing Cloud)提供AI排产与质量预警,降低缺陷率;零售业(S/4HANA Cloud零售版)实现AI预测补货与全渠道库存同步,减少浪费;金融业(Business ByDesign)支持合规自动化与实时风控,降低审计成本。各方案均采用云原生架构,典型案例显示实施效果显著。

金牌架构师 494

解锁防休眠新姿势:MouseJiggler让电脑保持活跃的终极方案

你是否经历过这样的场景:正在等待大型文件下载完成,离开座位片刻回来发现电脑已进入休眠状态;在线会议分享屏幕时,因长时间未操作导致屏幕保护程序突然启动;或者远程控制服务器时,因鼠标无动作被系统强制断开连接。这些因系统自动休眠带来的中断,不仅影响工作效率,更可能造成重要任务的意外中断。MouseJiggler正是为解决这些痛点而生,它通过模拟鼠标活动,让电脑始终保持清醒状态,成为你工作流程中不可或缺的

gitblog_00745的博客 87

大模型之Spring AI实战系列(一):基础认知篇 - 开启智能应用开发之旅

Spring AI 是一个轻量级开源框架,旨在简化 AI 模型在企业级 Java 应用中的集成与管理。它提供了跨多个 AI 服务提供商的便携式 API,支持聊天、文本转图像、嵌入式模型等多种功能,并兼容主流的 AI 模型提供商如 OpenAI、Google 等。Spring AI 的核心功能包括结构化输出、向量数据库支持、工具/函数调用、可观察性、文档摄取 ETL 框架、AI 模型评估等。

寻道AI,探索AI无限可能! 6371

WRFDA如何读取风云四号A 星的GIIRS数据?

🏆本文收录于 《全栈 Bug 调优(实战版)》 专栏。专栏聚焦真实项目中的各类疑难 Bug,从成因剖析 → 排查路径 → 解决方案 → 预防优化全链路拆解,形成一套可复用、可沉淀的实战知识体系。无论你是初入职场的开发者,还是负责复杂项目的资深工程师,都可以在这里构建一套属于自己的「问题诊断与性能调优」方法论,助你稳步进阶、放大技术价值。

**My Coding Family** 1031

AI艺术创作新姿势:Z-Image-Turbo批量生成技巧

本文介绍了如何在星图GPU平台上自动化部署集成Z-Image-Turbo文生图大模型(预置30G权重-开箱即用)镜像,高效实现AI批量图片生成。该镜像专为高频、多图、轻干预场景优化,支持命令行脚本化调用,典型应用于电商主图批量产出、设计素材库构建及提示词效果系统性测试。

weixin_42513928的博客 402

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

Golang正确使用kafka的姿势-细节决定成败

本文转自 跟我学IM后台开发作者 杰克.许 经OpenIM技术人员整理修订后发布。 写在前面 Open-IM是由前微信技术专家打造的开源的即时通讯组件。Open-IM包括IM服务端和客户端SDK,实现了高性能、轻量级、易扩展等重要特性。开发者通过集成Open-IM组件,并私有化部署服务端,可以将即时通讯、实时网络能力快速集成到自身应用中,并确保业务数据的安全性和私密性。 Kafka在OpenIM项目中承担重要的角色,感谢作者在使用OpenIM中发现的bug(使用Kafka不当的bug) 了解更多原创文章:

OpenIM的博客 1253

STM32F407中文手册

STM32f407中文手册 本参考手册面向应用开发人员,提供有关使用 STM32F405xx/07xx、STM32F415xx/17xx、 STM32F42xxx 和 STM32F43xxx 微控制器存储器与外设的完整信息。STM32F405xx/07xx、STM32F415xx/17xx、STM32F42xxx 和 STM32F43xxx 构成一个微 控制器系列,各产品具有不同的存储器大小、封装和外设。有关订购信息以及器件的机械与电气特性,请参见数据手册。有关 ARM Cortex™-M4F 内核的信息,请参见《Cortex™-M4F 技术参考手册》。

蓝牙模块HM-10手册

蓝牙模块HM-10手册,该手册对蓝牙模块HM-10进行了详细的介绍和使用方法以及一些AT指令。

上一篇: 是什么使你留在你的公司
下一篇: 程序员的时间管理哲学 —— 如何更好的利用我们的时间
公众号-芋道源码
博客等级 码龄10年 1639粉丝 377原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值