nginx + tomcat TIME_WAIT 过多

最新推荐文章于 2023-10-01 11:25:57 发布
转载 最新推荐文章于 2023-10-01 11:25:57 发布 · 713 阅读 · 0 ·
CC 4.0 BY-SA版权
原文链接：https://my.oschina.net/internetafei/blog/598936
文章标签：

#java #运维 #python

本文探讨了在应用服务器CPU负载异常时，通过调整系统参数来优化Tomcat连接处理的问题。主要介绍了如何通过修改sysctl.conf文件中的TCP参数（如tcp_syncookies、tcp_tw_reuse、tcp_tw_recycle和tcp_fin_timeout），以及如何调整upstream的keepalive参数，以减少TIME_WAIT状态下的连接数量，从而降低CPU负载。同时，文章提供了实例代码和建议，帮助开发者解决实际问题。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

2019独角兽企业重金招聘Python工程师标准>>> hot3.png

最近遇到一个bug  

运维部门报警一台应用服务器cpu 很高  。但是我们又没有什么请求量，于是找原因  

netstat -na  

发现tomcat 有大量的连接，其中TIME_WAIT，非常多,问了一下百度，大概意思是说，nginx 的连接已经关闭了，tomcat 还在等待处理这个连接。 

所以调系统参数 


sudo vi  /etc/sysctl.conf 

net.ipv4.tcp_syncookies = 1  

net.ipv4.tcp_tw_reuse = 1  

net.ipv4.tcp_tw_recycle = 1  

net.ipv4.tcp_fin_timeout = 30

sudo /sbin/sysctl -p

还有一种是调节  upstream  -》keepalive参数，但是感觉改这个会影响nginx的性能，所以推荐第一种。

upstream localhost{          

keepalive 30;

  }


转载于:https://my.oschina.net/internetafei/blog/598936

NGINX + TOMCAT出现大量的TIME-WAIT状态的TCP连接解决
weixin_33696106的博客
04-27 3111
2019独角兽企业重金招聘Python工程师标准>>> ...
tomcat大量time wait问题
热门推荐
today的专栏
07-12 1万+
在服务端访问量大的时候检测到大量的time wait，并且接口请求延时较高。 执行 netstat -n |awk ‘/^tcp/{++S[$NF]}END{for(m in S) print m,S[m]}’ 这个shell命令的意思是把netstat -n 后结果的最后一条放到S[]数组中，如果相同则执行+1操作。 此时能看到TCP各种状态下的连接数量，示例 服务端架构是采用nginx
解决nginx反向代理Tomcat出现大量的time_wait
因上努力，果上随缘。但行好事，莫问前程。
06-01 1133
关闭tcp_tw_reccycle 后，又大面积出现的time-wait，仔细观察连接发现全是nginx和Tomcat之间的连接time-wait，搜索了N多资料发现可以通过修改反向代理长连接超时时间控制，具体使用方法 upstream http_backend { server 127.0.0.1:8080; keepalive 16; #设置长连接超时时间 } server { ... location /http/ { proxy_pass h
zabbix proxy 服务器 netstat 出现大量Time_Wait连接问题
02-24 663
问题描述： 监控系统云网关监控几万个TCP port的存活情况， 最近发现有几个端口出现告警闪断情况，怀疑因为运行TCP检查的 zabbix proxy 服务器 tcp参数配置不合理。 netstat 发现有大量TIME_WAITt连接。 # netstat -n | awk '/^tcp/ {++y[$NF]} END {for(w in y) print w, ...
TCP连接的TIME_WAIT过多导致 Tomcat 假死
weixin_33719619的博客
08-09 645
   最近发现使用的Tomcat 7会经常假死。前端点击页面无任何反应，打开firebug，很多链接一直在等待服务器的反应。查看服务器的状态，CPU占用很少，最多不超过10%，一般只有2%，3%左右，内存占用倒是接近80, 90%。一开始怀疑是tomcat内存配置不够，但是打开 jvisualvm.exe 分析，发现Tomcat 占用的堆内存没有什么问题。因为是假死，所以最后怀疑到 tomcat的...
nginx到tomcat有大量CLOSE_WAIT状态连接
Jancy2265的博客
09-10 1787
nginx到tomcat有大量CLOSE_WAIT状态连接 原因总结： 资源未及时释放 数据库连接未及时释放，数据库连接池满后新的请求阻塞:https://blog.youkuaiyun.com/yu616568/article/details/44677985 httpclient创建的socket连接未及时释放，连接池占用满：https://blog.youkuaiyun.com/zhang4852898/article/details/91607636 如：当Server的后端用client类别连到Remo
python连接redis的time_wait数过高_解决TIME_WAIT过多造成的问题
weixin_39808893的博客
01-30 1094
sh-4.1# netstat -an |awk '/tcp/ {++S[$NF]}END {for (a in S) print a , S[a]}'TIME_WAIT41CLOSE_WAIT1ESTABLISHED2LISTEN7TCP/IP TIME_WAIT状态原理:通信双方建立TCP连接后，主动关闭连接的一方就会进入TIME_WAIT状态客户端主动关闭连接时，会发送最后一个ack后，然后...
生产Nginx现大量TIME-WAIT，连接耗尽，该如何处理？
z1ztai的博客
03-10 1482
keepalive 这个参数一定要小心设置，尤其对于QPS比较高的场景，推荐先做一下估算，根据QPS和平均响应时间大体能计算出需要的长连接的数量。比如前面10000 QPS和100毫秒响应时间就可以推算出需要的长连接数量大概是1000. 然后将keepalive设置为这个长连接数量的10%到30%。比较懒的同学，可以直接设置为keepalive=1000之类的，一般都OK的了。
keepalived+nginx+tomcat+redis+mysql主主架构部署
ClownWL的博客
03-09 1万+
keepalived+nginx+tomcat+redis+mysql主主架构部署 环境： Centos：7.4 Java：jdk1.8.0_192 Tomcat：apache-tomcat-9.0.13 Nginx：nginx-1.15.8 Keepalived ：Keepalived v1.3.5 Redis：redis-5.0.3 Mysql：mysql-5.7.25 编译安装 Cmak：...
TCP 连接的 TIME_WAIT 过多 导致 Tomcat 假死
天坑丶有米有的博客
05-11 3875
最近项目使用的 Tomcat 7 会经常假死。前端点击页面无任何反应，打开firebug，很多链接一直在等待服务器的反应。查看服务器的状态，CPU占用很少，最多不超过10%，一般只有2%，3%左右，内存占用倒是接近80, 90%。一开始怀疑是tomcat内存配置不够，但是打开 jvisualvm.exe 分析，发现Tomcat 占用的堆内存没有什么问题。因为是假死，所以最后怀疑到 tomcat的 ...
服务器大量TIME_WAIT解决方法
12-14
linux 服务器大量TIME_WAIT解决方法
Nginx做前端Proxy时TIME_WAIT过多的问题
随风飘絮
08-06 858
我们的DSP系统目前基本非凌晨时段的QPS都在10W以上，我们使用Golang来处理这些HTTP请求，Web服务器的前端用Nginx来做负载均衡，通过Nginx的proxy_pass来与Golang交互。由于nginx代理使用了短链接的方式和后端交互的原因，使得系统TIME_WAIT的tcp连接很多： shell> netstat -n | awk '/^tcp/ {++state[$NF]} END {for(key in state) print key,"\t",st
大量time-wait，造成tomcat假死
Nuan_Feng的博客
07-31 4264
问题定位：端口占用导致超时。 通过分析堆栈，发现所有的线程都阻塞在一块了。初步怀疑tomcat连接数少了，后来看到都处于wait状态。那么就怀疑线程挣抢原因，top命令查看cpu没高峰，而且tomcat最大才10个。定位redis 游标scan命令，但是db库数据比较少，原因排除。 接着怀疑xxljob频繁访问造成的，有几个一秒执行的job。然后发现堆栈信息中的确xxljob在run。查看xxljob后台，发现全部成功。没有失败的。那就纳闷了，xxljob全部成功，但是对外tomcat响应超时。xxljob
Tomcat TCP连接TIME_WAIT过多 导致假死无响应优化
雨夜星辰03--的博客
03-01 4766
Linux下使用以下命令查看网络连接状态 netstat -n | awk '/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}' Windows下使用以下命令查看网络连接状态 netstat -n |find /i "time_wait" /c netstat -n |find /i "close_wait" /c netstat -...
微服务怎么部署到服务器的_Java开发大互联网-微服务服务注册发现与如何实现容器部署...
weixin_39662594的博客
12-05 515
微服务服务注册和服务发现在微服务架构中，需要处理的微服务器数量相当高。而且，由于微服务的快速和敏捷的开发/部署性质，他们的位置一般来说也会动态变化。因此，你需要在运行时间内找到微服务器的位置。解决此问题的方法是使用Service Registry。服务注册表服务注册表保存微服务实例及其位置。Microservice实例在启动时注册到服务注册表，并在关机时注销。消费者可以通过服务注册表找到可用的微服...
[线上问题] “服务端长连接与客户端短连接引起Nginx产生大量“TIME_WAIT“状态的线程”的问题分析解决...
简放视野的专栏
10-25 1271
近期，线上Nginx服务器的TPS未超过100，但其Writing、Active连接数有时却超过了300。因为服务对响应时间要求较高，同时每个调用方使用的IP地址有限（即总的不同的连接地址有限），所以使用HTTPs长连接技术。（HTTP长连接与短连接） 问题现象：使用"sudo netstat -antp | grep 80"发现，存在大量的"TIME_WAIT" socket等待中断...
nginx大量TIME_WAIT的解决办法--转
02-27 783
原文地址：http://liuyieyer.iteye.com/blog/2214722?utm_source=tuicool&utm_medium=referral 由于网站使用nginx做的反向代理he负载均衡。在没有默认的系统TCP参数情况下回导致大量的TIME_WAIT出现。 终端可以下敲入 Shell代码 netstat-...
解决Nginx后端服务中的大量TIME-WAIT问题
SyDjango的博客
10-01 1597
TIME-WAIT状态是TCP连接关闭后所处的状态，它在连接关闭后一段时间内保持活动，以确保未来收到的延迟或重复数据包能够被正确处理。连接池是一种管理和重用数据库连接的机制，但也可以用于减少TIME-WAIT状态的数量。你可以使用连接池来管理与后端服务的连接，并在需要时从池中获取连接，而不是每次请求都创建新的连接。这样可以提高Nginx的性能和处理连接的能力，减少TIME-WAIT状态的积累。通过使用连接池，你可以在需要时获取和释放连接，从而减少TIME-WAIT状态的数量。
nginx大量TIME_WAIT的解决办法
aigexian4976的博客
09-13 2247
1、netstat -n | awk '/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}' 查看time_wait 很大 2、解决此问题需要对sysctl.conf参数进行设置添加以下内容 vim /etc/sysctl.conf net.ipv4.tcp_syncookies=1 net.ipv4.tcp_tw_re...
user nginx; worker_processes 1; #error_log /var/log/nginx/error.log notice; events { worker_connections 1024; } http { # Nginx 会根据mime type定义的对应关系来告诉浏览器如何处理服务器传给浏览器的这个文件，是打开还是下载 # 如果Web程序没设置，Nginx也没对应文件的扩展名，就用Nginx 里默认的 default_type定义的处理方式。 # mime type 和文件扩展名的对应关系一般放在 mime.types这个文件里，然后用 include mime.types; 来加载 # default_type application/octet-stream; #nginx默认文件类型 include mime.types; default_type application/octet-stream; #tomcat端出现大量TIME_WAIT：(http://lanjingling.github.io/2016/02/27/nginx-tomcat-time-wait/) # Nginx作为反向代理，长连接配置主要有三项， # upstream中的keepalive设置单个worker最大请求数， # 参数proxy_http_version 1.1强制转换为http1.1协议(默认支持长连接)， # proxy_set_header Connection将请求头部connection为空(http1.0请求默认connection头部为close)。 # NGINX + TOMCAT出现大量的TIME-WAIT状态的TCP连接解决 # http://nginx.org/en/docs/http/ngx_http_upstream_module.html # For HTTP, the proxy_http_version directive should be set to “1.1” and the “Connection” header field should be cleared: #tomcat端出现大量TIME_WAIT 解决方案 #测试1: # jmeter配置：线程数设置成5,Ramp-up时间(秒)设置成1,循环次数设置成永远 # 在没有配置任何相关的keepalive之前,服务端ngnix到tomcat大约3分钟TCP的TIME_WAIT的总数会增长到一万多; #测试2: # jmeter配置：线程数设置成5,Ramp-up时间(秒)设置成1,循环次数设置成永远 # 配置keepalive后,其中upstream proxy_tomcat中keepalive设置为2048,6分钟服务端ngnix到tomcat的TCP的TIME_WAIT的总数最高1000多; #测试3: # jmeter配置：线程数设置成5,Ramp-up时间(秒)设置成1,循环次数设置成永远 # 配置keepalive后,其中upstream proxy_tomcat中keepalive设置为4092,6分钟服务端ngnix到tomcat的TCP的TIME_WAIT的总数最高800左右; #参考连接： # # http://nginx.org/en/docs/http/ngx_http_upstream_module.html # 1.http://lanjingling.github.io/2016/02/27/nginx-tomcat-time-wait/ # 2.https://blog.youkuaiyun.com/LL845876425/article/details/97621365 # 3.https://blog.youkuaiyun.com/weixin_43944305/article/details/109487968 #参数说明(keepalive_timeout): #用途:保持客户端client(浏览器,需要http客户端打开浏览器keep-alive参数)到nginx的连接是长连接 #配置:设置keep-alive客户端连接在务器端保持开启的超时时间(默认75s);值为0会禁用keep-alive客户端连接 keepalive_timeout 120s; #参数说明(keepalive_requests): #用途:保持客户端client(浏览器,需要http客户端打开浏览器keep-alive参数)到nginx的连接是长连接 #配置: # 设置每个连接的最大请求次数,超过这个次数就会关闭该连接建立新的连接。默认是100.指一个 # keep alive建立之后，nginx就会为这个连接设置一个计数器，记录这个keep alive的长连接上已经 # 接收并处理的客户端请求的数量。如果达到这个参数设置的最大值时，则nginx会强行关闭这个长连接， # 逼迫客户端不得不重新建立新的长连接。 keepalive_requests 10000; #upstream proxy_nodejs { #用server定义http地址 #server nodejs:9090; #参数说明(keepalive): #用途:保持nginx到server的连接是长连接 #配置:设置 worker 进程和后端服务器之间保持空闲连接的最大值，如果空闲连接数大于这个值，将会关闭使用最少的连接，默认值为0 #keepalive 2048; #} # upstream proxyTomcat { #用server定义http地址 #server 192.168.10.105:8087; #参数说明(keepalive): #用途:保持nginx到server的连接是长连接 #配置:设置 worker 进程和后端服务器之间保持空闲连接的最大值，如果空闲连接数大于这个值，将会关闭使用最少的连接，默认值为0 #keepalive 4092; #} server { listen 80; add_header Access-Control-Allow-Origin *; add_header Access-Control-Allow-Headers X-Requested-With; add_header Access-Control-Allow-Methods GET,POST,OPTIONS; location /siweidjfa/ { proxy_pass http://$NGINX_TOMCAT_IPADDRESS; proxy_set_header Host $host; proxy_set_header X-Real-IP $remote_addr; proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; proxy_set_header X-Forwarded-Proto $scheme; } #location / #{ # #通过代理将请求发送给upstream命名的http服务 # proxy_pass http://$NGINX_TOMCAT_IPADDRESS; # # #参数说明(proxy_http_version): # #用途:保持nginx到server的连接是长连接 # #配置:设置 HTTP 请求协议，要确保是 HTTP 1.1 的长连接协议 # proxy_http_version 1.1; # # #参数说明(proxy_set_header): # #用途:保持nginx到server的连接是长连接 # #配置:清空 Connection 请求头，避免客户端传递短连接的请求头信息 # proxy_set_header Connection ""; # # #参数说明(keepalive_timeout): # #用途:保持nginx到server的连接是长连接 # #配置:设置keep-alive客户端连接在服务器端保持开启的超时时间(默认75s);值为0会禁用keep-alive客户端连接 # keepalive_timeout 150s; # # #参数说明(keepalive_requests): # #用途:保持nginx到server的连接是长连接 # #配置: # # 设置每个连接的最大请求次数,超过这个次数就会关闭该连接建立新的连接。默认是100.指一个 # # keep alive建立之后，nginx就会为这个连接设置一个计数器，记录这个keep alive的长连接上已经 # # 接收并处理的客户端请求的数量。如果达到这个参数设置的最大值时，则nginx会强行关闭这个长连接， # # 逼迫客户端不得不重新建立新的长连接。 # keepalive_requests 100000; # #} } } 启动报错
最新发布
05-23
### 解决 Nginx 启动报错问题：`invalid number of arguments in "proxy_set_header" directive` 当遇到 `nginx: [emerg] invalid number of arguments in "proxy_set_header" directive` 报错时，通常是由于配置文件中的语法错误引起的。以下是详细的分析和解决方法： #### 1. **检查指令格式** Nginx 的 `proxy_set_header` 指令需要两个参数：HTTP 头部名称和对应的值。如果仅提供了其中一个参数，则会导致此错误。 例如，以下是一个正确的配置示例： ```nginx proxy_set_header Host $host; ``` 而下面这种写法会导致错误： ```nginx proxy_set_header Host; # 缺少第二个参数 ``` 因此，在配置文件中应确保每条 `proxy_set_header` 指令都包含两个参数[^1]。 --- #### 2. **特殊字符处理** 如果在 `proxy_set_header` 的值部分包含了特殊字符（如 `$`, `<`, `>`），则可能导致解析失败。在这种情况下，建议使用转义符或将整个字符串用双引号括起来。 例如： ```nginx proxy_set_header X-Custom-Header "$value_with_special_chars"; ``` 如果没有正确转义这些字符，可能会引发类似的错误消息[^5]。 --- #### 3. **ConfigMap 或外部模板问题** 如果是通过 Kubernetes ConfigMap 或其他工具动态生成的 Nginx 配置文件，需要注意模板引擎是否会自动替换某些占位符。如果不小心替换了原本应该保留的内容，也可能导致该错误。 例如，Kubernetes ConfigMap 文件中未正确转义变量的情况： ```yaml proxy_set_header Host ${HOST}; # 如果 HOST 为空，则实际生效的是 proxy_set_header Host ; ``` 为了避免此类问题，可以显式指定默认值或使用双引号包裹整个表达式： ```yaml proxy_set_header Host "${HOST:-default_host}"; ``` 这一步骤能够有效防止因变量缺失而导致的语法错误[^5]。 --- #### 4. **验证配置文件合法性** 完成修改后，务必运行以下命令来测试 Nginx 配置文件是否合法： ```bash nginx -t ``` 只有当输出显示 `syntax is ok` 和 `test is successful` 时，才能确认配置无误并安全重启服务。 --- #### 完整示例配置 假设我们需要设置多个自定义头信息，完整的 `server` 块可参考如下形式： ```nginx upstream backend { server 127.0.0.1:8080; } server { listen 80; server_name example.com; location / { proxy_pass http://backend; # 设置标准头部信息 proxy_set_header Host $host; proxy_set_header X-Real-IP $remote_addr; proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; # 自定义头部信息 proxy_set_header Custom-Header-One "Value One"; proxy_set_header Custom-Header-Two "Value Two with spaces and special chars!"; } } ``` 以上配置展示了如何正确应用 `proxy_set_header` 指令及其常见用途[^1]。 --- #### 总结 为了彻底解决问题，请仔细检查配置文件中的每一行 `proxy_set_header` 指令，确保其遵循正确的语法规则，并妥善处理特殊字符和变量替代情况。最后，利用 `nginx -t` 测试配置文件的有效性后再尝试重新启动服务。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值