tomcat的maxThreads、acceptCount,对高并发的影响

SpringBoot 内置 Tomcat 线程数优化配置 本文解析springboot内置tomcat调优并发线程数的一些参数,并结合源码进行分析。tomcat主要通过使用自己的TaskQueue队列来对线程池做出了不同的策略,也就是tomcat当线程数大于核心数时就会直接创建新的线程来处理,而不是放到队列。 阅读详情

一、tomcat并发测试

当一个进程有 500 个线程在跑的话,那性能已经是很低很低了。Tomcat 默认配置的最大请求数是 150,也就是说同时支持 150 个并发,当然了,也可以将其改大。

当某个应用拥有 250 个以上并发的时候,应考虑应用服务器的集群。

具体能承载多少并发,需要看硬件的配置,CPU 越多性能越高,分配给 JVM 的内存越多性能也就越高,但也会加重 GC 的负担。

操作系统对于进程中的线程数有一定的限制:

  • Windows 每个进程中的线程数不允许超过 2000。
  • Linux 每个进程中的线程数不允许超过 1000。

另外,在 Java 中每开启一个线程需要耗用 1MB 的 JVM 内存空间用于作为线程栈之用。

Tomcat的最大并发数是可以配置的,实际运用中,最大并发数与硬件性能和CPU数量都有很大关系的。更好的硬件,更多的处理器都会使Tomcat支持更多的并发。

Tomcat 默认的 HTTP 实现是采用阻塞式的 Socket 通信,每个请求都需要创建一个线程处理。这种模式下的并发量受到线程数的限制,但对于 Tomcat 来说几乎没有 BUG 存在了。
Tomcat 还可以配置 NIO 方式的 Socket 通信,在性能上高于阻塞式的,每个请求也不需要创建一个线程进行处理,并发能力比前者高。但没有阻塞式的成熟。
这个并发能力还与应用的逻辑密切相关,如果逻辑很复杂需要大量的计算,那并发能力势必会下降。如果每个请求都含有很多的数据库操作,那么对于数据库的性能也是非常高的。
对于单台数据库服务器来说,允许客户端的连接数量是有限制的。
并发能力问题涉及整个系统架构和业务逻辑。
系统环境不同,Tomcat版本不同、JDK版本不同、以及修改的设定参数不同。并发量的差异还是满大的。

二、accept-count 和 max-threads 的介绍

server.tomcat.accept-count:tomcat 启动的线程数达到最大时,接受排队的请求个数,默认值为200。

server.tomcat.max-threads:tomcat 启动的最大线程数,即同时处理的任务个数,默认值为100。

这两个值如何起作用,请看下面三种情况

       情况1:接受一个请求,此时 tomcat 起动的线程数没有到达 max-threads,tomcat 会起动一个线程来处理此请求。

       情况2:接受一个请求,此时 tomcat 起动的线程数已经到达 max-threads,tomcat 会把此请求放入等待队列,等待空闲线程。

       情况3:接受一个请求,此时 tomcat 起动的线程数已经到达 max-threads,等待队列中的请求个数也达到了 accept-count,此时 tomcat 会直接拒绝此次请求,返回 connection refused。

三、max-threads 如何配置

一般的服务器操作都包括两方面:1计算(主要消耗 cpu),2等待(io、数据库等)

第一种极端情况,如果我们的操作是纯粹的计算,那么系统响应时间的主要限制就是 cpu 的运算能力,此时 max-threads 应该尽量设的小,降低同一时间内争抢 cpu 的线程个数,可以提高计算效率,提高系统的整体处理能力。

第二种极端情况,如果我们的操作纯粹是 IO 或者数据库,那么响应时间的主要限制就变为等待外部资源,此时 max-threads应该尽量设的大,这样 才能提高同时处理请求的个数,从而提高系统整体的处理能力。此情况下因为 tomcat 同时处理的请求量会比较大,所以需要关注一下 tomcat 的虚拟机内存设置和 linux 的 open file 限制。

我在测试时遇到一个问题,max-threads 我设置的比较大比如3000,当服务的线程数大到一定程度时,一般是2000出头,单次请求的响应时间就会急剧的增加,百思不得其解这是为什么,四处寻求答案无果,最后我总结的原因可能是 cpu 在线程切换时消耗的时间随着线程数量的增加越来越大,

cpu 把大多数时间都用来在这2000多个线程直接切换上了,当然cpu就没有时间来处理我们的程序了。

以前一直简单的认为多线程=高效率。其实多线程本身并不能提高 cpu 效率,线程过多反而会降低 cpu 效率。当 cpu 核心数<线程数时,cpu 就需要在多个线程直接来回切换,以保证每个线程都会获得 cpu 时间,即通常我们说的并发执行。所以 max-threads 的配置绝对不是越大越好。

现实应用中,我们的操作都会包含以上两种类型(计算、等待),所以maxThreads的配置并没有一个最优值,一定要根据具体情况来配置。

最好的做法是:在不断测试的基础上,不断调整、优化,才能得到最合理的配置。

四、accept-count 如何配置

accept-count 的配置,我一般是设置的跟 max-threads 一样大,这个值应该是主要根据应用的访问峰值与平均值来权衡配置的。

如果设的较小,可以保证接受的请求较快相应,但是超出的请求可能就直接被拒绝

如果设的较大,可能就会出现大量的请求超时的情况,因为我们系统的处理能力是一定的。

 

原创不易,转载自:

https://blog.youkuaiyun.com/qq_24892029/article/details/78611219

https://blog.youkuaiyun.com/jack1liu/article/details/100511226

tomcat高并发下优化详解及连接数和线程池 高并发环境下,我知道优化配置tomcat,对连接数和线程池作修改,最重要的是connector的协议Http Connector使用NIO,而不是默认的AJP Connector,当时也没有仔细研究其原理。现在来为以上这些设置做一下剖析。 要了解这些,不能避开tomcat最重要的一个功能,就是connector连接器。 它的作用可是tomcat的核心,在tomcat的配置文件server.xm... 阅读详情

相关推荐

SpringBoot项目中关于Tomcat的可配置主要参数,accept-count的真正含义

Apache Tomcat 是一个开源的服务器软件,它的主要作用是提供一个环境,用于执行使用 Java 技术(如 Servlet、JavaServer Pages (JSP)、Java WebSocket)编写的 Web 应用程序。:Tomcat 提供了 Servlet 容器,用于加载、解析和执行 Servlet 和 JSP 页面。Servlet 和 JSP 页面是用于构建动态 Web 网站的主要技术,而 Tomcat 则提供了执行这些技术的环境。

十三月的博客 355

tomcat 的 maxThreads、acceptCount(最大线程数、最大排队数)

目录 一 accept-count 和max-threads 的介绍 二accept-count 和max-threads 的配置 2.1 max-threads如何配置 2.2accept-count 如何配置 一 accept-count 和max-threads 的介绍 server.tomcat.accept-count:tomcat 启动的线程数达到...

javaTalk 2万+

tomcat 最大并发连接数 acceptCount

tomcat 最大并发数 并发量 tomcat 最大并发连接数 acceptCount不能说只要大于acceptCount的连接就一定被拒绝!

Tomcat调优及acceptCount、maxConnections与maxThreads参数的含义和关系

但如果盲目调大最大线程数,会造成大量的线程切换,导致吞吐量无法达到预期的值(如下图所示,设置最大线程数为2000,并用2000的虚拟用户进行压测,系统吞吐量在1700左右:由于线程数为2000,但由于大量线程之间切换,平均响应时间却超过了1s,所以导致每秒事务处理量无法到达预期。通过响应时间和线程数图可以看到,线程达到50左右后,响应时间上升的斜度开始升高,说明到达瓶颈,从tps图中可以看到,程序的并发峰值达到50tps左右,在50线程左右达到最高,而后趋于稳定;厨师的数量,比顾客的数量,肯定会少一些。

z69183787的专栏 9144

Potplayer + LAVFilters + madVR 配置教程

文章目录Potplayer + LAVFilters + madVR 配置教程工具安装篇设置调教1.potplayer播放器设置加载LAVFilters和madVR1.选择“源滤镜/分离器”选项,选择“滤镜/解码器管理”2.“添加外部滤镜”3.浏览到刚才LAVFilters解压的文件夹,分别添加图示项。4.添加后回到管理界面设置,点击左边的”LAV AudioDecoder”,将右边”音频解码器”...

re 16万+

Qt开发中彻底解决中文乱码问题

中文乱码问题主要源于编码不一致需要同时设置控制台和Qt应用程序的编码确保项目文件和环境配置的编码一致文件操作时注意指定正确的编码。

qq_53832058的博客 3406

tomcat的maxThreads、acceptCount,对高并发的影响,阿里P8面试官都说太详细了

我还通过一些渠道整理了一些大厂真实面试主要有:蚂蚁金服、拼多多、阿里云、百度、唯品会、携程、丰巢科技、乐信、软通动力、OPPO、银盛支付、中国平安等初,中级,高级Java面试题集合,附带超详细答案,希望能帮助到大家。还有专门针对JVM、SPringBoot、SpringCloud、数据库、Linux、缓存、消息中间件、源码等相关面试题。一个人可以走的很快,但一群人才能走的更远。如果你从事以下工作或对以下感兴趣,欢迎戳这里加入程序员的圈子,让我们一起学习成长!

2401_84103100的博客 1365

卷积神经网络-猫狗识别(附源码)

利用python实现一个卷积神经网络,训练猫狗数据集,实现对猫狗图片的预测识别

m0_63223213的博客 2万+

tomcat的maxThreads、acceptCount,对高并发的影响,华为工程师面试经历

当某个应用拥有 250 个以上并发的时候,应考虑应用服务器的集群。 具体能承载多少并发,需要看硬件的配置,CPU 越多性能越高,分配给 JVM 的内存越多性能也就越高,但也会加重 GC 的负担。 操作系统对于进程中的线程数有一定的限制: Windows 每个进程中的线程数不允许超过 2000。 Linux 每个进程中的线程数不允许超过 1000。 另外,在 Java 中每开启一个线程需要耗用 1MB 的 JVM 内存空间用于作为线程栈之用。 Tomcat的最大并发数是可以配置的,实际运用中,最大

m0_64867839的博客 569

帆软js--获取控件和单元格

参数面板: 获取面板控件 ,name为控件名称:_g().parameterEl.getWidgetByName("name") 取值:_g().parameterEl.getWidgetByName("tt3").getValue()2323 赋值:_g().parameterEl.getWidgetByName("tt2").setValue("987") 调用对应的事件比...

江湖行骗老中医 7202

【IC】Redhawk-SC输入件配置

Redhawk sc

u011808788的博客 1779

如何设置 acceptCount 、maxConnections、maxThreads 的值:

java

m0_70336653的博客 366

基于YOLO的智能视频监控异常行为检测研究:从算法原理到落地部署的全栈实践

本文深入探讨如何利用 YOLO(You Only Look Once)系列算法构建一套端到端的异常行为检测系统。文章首先回顾 YOLOv8 在时空建模上的局限,然后提出“YOLO-STA(Spatio-Temporal Aggregation)”轻量级改进框架,在公开数据集 UCF-Crime 上将异常行为检测的 mAP@0.5 从 72.4 提升到 80.1;接着给出完整训练、推理、部署的 Python 代码(PyTorch + TensorRT),并介绍如何仅用 4 GB 显存的 Jetson Xavi

博客 1353

Apache Tomcat线程池终极调优指南:acceptCount与maxThreads深度解析

Apache Tomcat作为业界领先的Java Web应用服务器,其线程池配置是性能优化的核心环节。掌握acceptCount与maxThreads这两个关键参数的调优技巧,能够显著提升应用在高并发场景下的稳定性和响应速度。本文将为你详细解析Tomcat线程池的工作原理,并提供实用的配置建议。 ## 🔍 理解Tomcat线程池架构 在深入配置之前,让我们先了解Tomcat的整体架构。从启动

gitblog_01020的博客 448

汽车电子RTOS--AUTOSAR OS

AUTOSAR OS(AUTomotive Open System ARchitecture Operating System)是AUTOSAR(汽车开放系统架构)标准中的一个重要组件,它是一个专门为汽车电子控制单元(ECU)设计的实时操作系统(RTOS)。AUTOSAR OS旨在提供一个标准化的软件平台,以促进不同供应商和汽车制造商之间的组件复用和协同开发,提高软件质量和降低成本。

MHD0815的博客 1803

MFC实现图书管理系统(附完整源码)

MFC实现图书管理系统(附完整源码)

希望我的博客,能帮上你解决学习中工作中所遇到的问题 805

Tomcat线程数

Tomcat每到凌晨会有一个高峰,峰值的并发达到了3000以上,最后的结果是Tomcat线程池满了,日志看很多请求超过了1s。 <Executor name="tomcatThreadPool" namePrefix="catalina-exec-" maxThreads="3000" minSpareThreads="800"/> <Connector execut

答案是肯定的 3657

汉书HE8,好用的汇编代码编写工具

汉书HE8,好用的汇编代码编写工具早期编写汇编代码所用功能强大

详解tomcat的连接数与线程池

前言 在使用tomcat时,经常会遇到连接数、线程数之类的配置问题,要真正理解这些概念,必须先了解Tomcat的连接器(Connector)。 在前面的文章详解Tomcat配置文件server.xml中写到过:Connector的主要功能,是接收连接请求,创建Request和Response对象用于和请求端交换数据;然后分配线程让Engine(也就是Servlet容器)来处理这个请求,并把产生的Request和Response对象传给Engine。当Engine处理完请求后,也会通过Connecto..

qq_43159578的博客 575

温度PID控制PLC程序

温度PID稳定控制程序,适用于欧姆龙PLC,对其他PLC也具有很大参考价值

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

Tomcat线程数、连接数相关配置

Tomcat处理请求的过程:在accept队列中接收连接(当客户端向服务器发送请求时,如果客户端与OS完成三次握手建立了连接,则OS将该连接放入accept队列);在连接中获取请求的数据,生成request;调用servlet容器处理请求;返回response。相对应的,Connector中的几个参数功能如下: acceptCount accept队列的长度;当accept队列中连接的个数达到acceptCount时,队列满,进来的请求一律被拒绝。默认值是100。 maxConnections To

爱琴孩的博客 7099

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

并发和Tomcat线程数

转自 http://zhanjindong.com 最近一直在解决线上一个问题,表现是: Tomcat每到凌晨会有一个高峰,峰值的并发达到了3000以上,最后的结果是Tomcat线程池满了,日志看很多请求超过了1s。 服务器性能很好,Tomcat版本是7.0.54,配置如下: <Executor name="tomcatThreadPool" n...

125

Tomcat连接性能调优

         Tomcat是一款非常流行的Apache的开源Web服务器。          今天我们主要来探讨Tomcat下面的server.xml中的连接器配置对交易系统的性能影响。          我们来假设如下一种场景:          一种交易需要通过客户端C来远程Hessian来同步调用服务端S的服务A来完成整笔交易,客户端C设置的交易超时时间为60秒(比较简单但不精...

大步流星 394

高并发环境下优化Tomcat性能详解

高并发下优化Tomcat性能详解 技术标签: linux运维与架构师 高并发环境下,我知道优化配置tomcat,对连接数和线程池作修改,最重要的是connector的协议Http Connector使用NIO,而不是默认的AJP Connector,当时也没有仔细研究其原理。现在来为以上这些设置做一下剖析。 要了解这些,不能避开tomcat最重要的一个功能,就是connector连接器。 它的作用可是tomcat的核心,在tomcat的配置文件server.xml中写到过:Connector的主要功能是接收

kuangbende_cike的博客 568

nio 线程池 & tomcat

在Acceptor 线程:监听和接受新的连接请求。并将新的连接分配给Poller线程。Poller 线程:监控现有连接的状态,并将有 I/O 事件的连接注册到线程池中。Worker 线程:真正处理 I/O 事件,包括读取数据、处理业务逻辑以及写回响应等。Worker 线程是从线程池中获取的。通过使用线程池有效地管理和调度工作线程来处理大量并发连接。线程池允许服务器在高负载下高效运行,减少创建和销毁线程的开销,同时保证系统的响应速度和资源的充分利用。在中,线程池的配置参数包括maxThreads和。

- 772

Tomcat 7 请求处理线程的产生机制详解

本文详细分析了Tomcat7的请求处理线程机制,包括其分层架构(Acceptor-Poller-Worker三层模型)、连接器初始化过程、NIO事件驱动处理流程,以及定制化线程池的实现。重点阐述了线程创建、分配和管理的核心逻辑,包括Acceptor接收连接、Poller轮询事件、线程池执行请求等关键环节。同时提供了线程池参数调优建议和性能监控方法,并针对高并发场景和常见性能问题给出了解决方案。整个机制通过分层设计、事件驱动和资源优化,实现了高效的请求处理能力。

油墨香^-^的博客 718
上一篇: 【JVM 1】类加载器 + 运行时数据区
下一篇: 【压力测试 2】JMeter压力测试之Internal server error 500 问题解决思路
哪 吒
哪 吒 2022年度博客之星TOP 1 2022年度博客之星TOP 1 领域专家: 后端开发技术领域 领域专家: 后端开发技术领域
博客等级 码龄9年 59万+粉丝 2962原创
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值