NGINX + TOMCAT出现大量的TIME-WAIT状态的TCP连接解决

当访问量增大时,发现应用响应变慢,且存在大量TIME_WAIT状态的TCP连接。问题源于nginx和tomcat的keepalive设置与http版本不匹配。解决方案包括修改nginx配置或调整系统级设置。已参考nginx官方文档并观察效果。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

记录一次帮朋友排查应用变慢的问题,

访问量变大的时候,请求响应变慢,但数据库和服务器相关资源都正在,我们看看一下连接数

netstat -n|awk '/^tcp/{++S[$NF]}END{for (key in S) print key,S[key]}'

意外的发现

[root@iZ25627ehy9Z hmkx]# netstat -n|awk '/^tcp/{++S[$NF]}END{for (key in S) print key,S[key]}'
TIME_WAIT 3114
CLOSE_WAIT 2
ESTABLISHED 250

TIME_WAIT状态的连接竟然多大3000多,这时候怀疑这个造成的,所以就查了一下资料,主要原因:

1.nginx开启了keepalive ,而且默认用的http1.1

2.tomcat开启了keepalive,默认也使用http1.1

3.但是nginx代理却使用的http1.0,默认不开启keepalive,所以就造成了大量的TIME-WAID状态的TCP连接

目前有两个解决办法

方法一:nginx官网提供

For HTTP, the 

user nginx; worker_processes 1; #error_log /var/log/nginx/error.log notice; events { worker_connections 1024; } http { # Nginx 会根据mime type定义的对应关系来告诉浏览器如何处理服务器传给浏览器的这个文件,是打开还是下载 # 如果Web程序没设置,Nginx也没对应文件的扩展名,就用Nginx 里默认的 default_type定义的处理方式。 # mime type 和文件扩展名的对应关系一般放在 mime.types这个文件里,然后用 include mime.types; 来加载 # default_type application/octet-stream; #nginx默认文件类型 include mime.types; default_type application/octet-stream; #tomcat端出现大量TIME_WAIT:(http://lanjingling.github.io/2016/02/27/nginx-tomcat-time-wait/) # Nginx作为反向代理,长连接配置主要有三项, # upstream中的keepalive设置单个worker最大请求数, # 参数proxy_http_version 1.1强制转换为http1.1协议(默认支持长连接), # proxy_set_header Connection将请求头部connection为空(http1.0请求默认connection头部为close)。 # NGINX + TOMCAT出现大量TIME-WAIT状态TCP连接解决 # http://nginx.org/en/docs/http/ngx_http_upstream_module.html # For HTTP, the proxy_http_version directive should be set to “1.1” and the “Connection” header field should be cleared: #tomcat端出现大量TIME_WAIT 解决方案 #测试1: # jmeter配置:线程数设置成5,Ramp-up时间(秒)设置成1,循环次数设置成永远 # 在没有配置任何相关的keepalive之前,服务端ngnix到tomcat大约3分钟TCPTIME_WAIT的总数会增长到一万; #测试2: # jmeter配置:线程数设置成5,Ramp-up时间(秒)设置成1,循环次数设置成永远 # 配置keepalive后,其中upstream proxy_tomcat中keepalive设置为2048,6分钟服务端ngnix到tomcatTCPTIME_WAIT的总数最高1000; #测试3: # jmeter配置:线程数设置成5,Ramp-up时间(秒)设置成1,循环次数设置成永远 # 配置keepalive后,其中upstream proxy_tomcat中keepalive设置为4092,6分钟服务端ngnix到tomcatTCPTIME_WAIT的总数最高800左右; #参考连接: # # http://nginx.org/en/docs/http/ngx_http_upstream_module.html # 1.http://lanjingling.github.io/2016/02/27/nginx-tomcat-time-wait/ # 2.https://blog.youkuaiyun.com/LL845876425/article/details/97621365 # 3.https://blog.youkuaiyun.com/weixin_43944305/article/details/109487968 #参数说明(keepalive_timeout): #用途:保持客户端client(浏览器,需要http客户端打开浏览器keep-alive参数)到nginx连接是长连接 #配置:设置keep-alive客户端连接在务器端保持开启的超时时间(默认75s);值为0会禁用keep-alive客户端连接 keepalive_timeout 120s; #参数说明(keepalive_requests): #用途:保持客户端client(浏览器,需要http客户端打开浏览器keep-alive参数)到nginx连接是长连接 #配置: # 设置每个连接的最大请求次数,超过这个次数就会关闭该连接建立新的连接。默认是100.指一个 # keep alive建立之后,nginx就会为这个连接设置一个计数器,记录这个keep alive的长连接上已经 # 接收并处理的客户端请求的数量。如果达到这个参数设置的最大值时,则nginx会强行关闭这个长连接, # 逼迫客户端不得不重新建立新的长连接。 keepalive_requests 10000; #upstream proxy_nodejs { #用server定义http地址 #server nodejs:9090; #参数说明(keepalive): #用途:保持nginx到server的连接是长连接 #配置:设置 worker 进程和后端服务器之间保持空闲连接的最大值,如果空闲连接数大于这个值,将会关闭使用最少的连接,默认值为0 #keepalive 2048; #} # upstream proxyTomcat { #用server定义http地址 #server 192.168.10.105:8087; #参数说明(keepalive): #用途:保持nginx到server的连接是长连接 #配置:设置 worker 进程和后端服务器之间保持空闲连接的最大值,如果空闲连接数大于这个值,将会关闭使用最少的连接,默认值为0 #keepalive 4092; #} server { listen 80; add_header Access-Control-Allow-Origin *; add_header Access-Control-Allow-Headers X-Requested-With; add_header Access-Control-Allow-Methods GET,POST,OPTIONS; location /siweidjfa/ { proxy_pass http://$NGINX_TOMCAT_IPADDRESS; proxy_set_header Host $host; proxy_set_header X-Real-IP $remote_addr; proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; proxy_set_header X-Forwarded-Proto $scheme; } #location / #{ # #通过代理将请求发送给upstream命名的http服务 # proxy_pass http://$NGINX_TOMCAT_IPADDRESS; # # #参数说明(proxy_http_version): # #用途:保持nginx到server的连接是长连接 # #配置:设置 HTTP 请求协议,要确保是 HTTP 1.1 的长连接协议 # proxy_http_version 1.1; # # #参数说明(proxy_set_header): # #用途:保持nginx到server的连接是长连接 # #配置:清空 Connection 请求头,避免客户端传递短连接的请求头信息 # proxy_set_header Connection ""; # # #参数说明(keepalive_timeout): # #用途:保持nginx到server的连接是长连接 # #配置:设置keep-alive客户端连接在服务器端保持开启的超时时间(默认75s);值为0会禁用keep-alive客户端连接 # keepalive_timeout 150s; # # #参数说明(keepalive_requests): # #用途:保持nginx到server的连接是长连接 # #配置: # # 设置每个连接的最大请求次数,超过这个次数就会关闭该连接建立新的连接。默认是100.指一个 # # keep alive建立之后,nginx就会为这个连接设置一个计数器,记录这个keep alive的长连接上已经 # # 接收并处理的客户端请求的数量。如果达到这个参数设置的最大值时,则nginx会强行关闭这个长连接, # # 逼迫客户端不得不重新建立新的长连接。 # keepalive_requests 100000; # #} } } 启动报错
最新发布
05-23
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值