tcp_tw_recycle参数引发的系统问题

最新推荐文章于 2025-04-07 10:44:10 发布
最新推荐文章于 2025-04-07 10:44:10 发布
阅读量2.8w 收藏 46
点赞数 14
文章标签： tcp TIME-WAIT tcp-tw-rec
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/zhuyiquan/article/details/68925707
版权

前一段时间在做全站HTTPS的部署时，遇到了一个很有趣的与Linux内核相关的问题，本人对内核没有研究，记录下来作为学习笔记。

1. 问题背景

前段时间为了应对苹果的ATS策略，完成了全站服务端的HTTPS部署。为了减少负载均衡设备的开销，我们开启的是F5的四层模式Perfomance(Layer4)，即只处理四层TCP连接，过来后直接做NAT转发到后端Web Server。
然而诡异的问题发生了，完成这次升级后，部分用户直接无法打开网页，我们立刻组织分析。
这里写图片描述

从客户端来看，TCP建连失败
这里写图片描述

在负载均衡上抓包分析，syn包已经发

最低0.47元/天 解锁文章
tcp_tw_recycle慎用，记一次故障引发的教训(lesson)
纵歌的博客
05-21 1153
tcp_tw_recycle慎用，记一次故障引发的教训
Linux的TCP连接数到达2万，其中tcp_tw、tcp_alloc、tcp_inuse都很高，可能出现什么问题
主要写大数据集群一线运维和学习工作经验
04-02 1459
当 TCP 连接数达到 2 万且关键指标高位运行时，需重点关注端口资源内存压力队列溢出和应用性能。通过调整内核参数、优化应用设计、使用长连接和监控工具，可以有效缓解问题。对于超大规模场景，可能需要结合负载均衡或内核旁路技术进一步优化。
TCP网络常见调优参数之一：tcp_tw_recycle
Jian Sun_的博客
07-23 803
判断第二个包是重复报文，丢弃之反映出来的情况就是在云存储上抓包，发现有SYN包，但就是不回ACK包，因为SYN包已经被丢弃了。在一些高并发的 TCP Server上，为了能够快速回收time_wait的状态socket，打开了 tcp_tw_reccycle ，内核就会检查tcp包时间戳，但无法保证客户端是否NAT后面过来的请求，发来的包的时间戳是可能乱跳的，所以服务器端就把带了“倒退”的时间戳的包当作是“recycle的tw连接的重传数据，不是新的请求”，于是丢掉不回包，造成大量丢包。
tcp_tw_recycle
weixin_34247299的博客
12-02 762
问题背景 服务通过F5使用lb的方式对外提供服务，client连接某LB VIP的时候，发现client发送了syn，server直接回了rst断了连接。上网查询相关信息，发现很多的情况是因为打开了tcp_tw_recycle导致的(特别是在NAT的情况下)，那么tw_recycle和tw_reuse有什么联系和关联，又是如何触发问题的呢...
踩坑内核参数tcp_tw_recycle
Ivan_Wz的博客
01-06 1万+
文章目录踩坑内核参数tcp_tw_recycle一、问题背景二、优化分析1.参数解释2.原理分析及优化建议(1)什么是TCP TIME-WAIT状态:(2)TIME-WAIT存在的作用及原因：(3)开启tcp_tw_recycle后为什么会造成网络问题:现象一：延迟的出现现象二：没有ACK回包(4) tcp_tw_recycle参数的移除三、操作步骤 踩坑内核参数tcp_tw_recycle 一、问题背景 近期我们发现客户生产环境出现了偶发性的502报错，表现为点击浏览器或APP页面时会出现502错误，复现
深入TCP协议——tcp_tw_reuse和tcp_tw_recycle
qq_25046827的博客
07-20 6289
我们已经知道TCP四次挥手中，主动方在收到被动方的FIN数据包之后会进入TIME_WAIT状态等待2MSL的时间后才进入CLOSED。在 Linux 操作系统下，TIME_WAIT 状态的持续时间是 60 秒，这意味着这 60 秒内，客户端一直会占用着这个端口，这是有一定的开销的。如果如果主动关闭连接方的 TIME_WAIT 状态过多，占满了所有端口资源，则会导致无法创建新连接。
net.ipv4.tcp_tw_reuse与net.ipv4.tcp_tw_recycle的区别，以及在高并发短连接场景下的参数优化方案
最新发布
完颜振江
04-07 696
使用数据库连接池（如HikariCP）、HTTP长连接（Keep-Alive）减少短连接创建。示例：若两个NAT用户通过同一网关访问服务器，时间戳差异会导致后发请求被丢弃。会强制启用更严格的per-host PAWS检查（基于源IP而非四元组）。通过上述方案组合，可在保证协议完整性的前提下，实现短连接性能的阶跃式提升。典型案例：某金融系统开启该参数后，移动端用户登录失败率飙升至35%效果：某电商平台接入连接池后，TIME-WAIT连接减少92%对高频短连接服务（如Redis）采用UDP协议或QUIC替代。
网络优化之net.ipv4.tcp_tw_recycle和tcp_tw_reuse参数
weixin_30764771的博客
05-10 1万+
linux TIME_WAIT 相关参数: net.ipv4.tcp_tw_reuse = 0 表示开启重用。允许将TIME-WAIT sockets重新用于新的TCP连接，默认为0，表示关闭 net.ipv4.tcp_tw_recycle = 0 表示开启TCP连接中TIME-WAIT sockets的快速回收，默认为0，表示关闭 net.ipv4.tcp_fi...
tcp_tw_recycle+tcp_timestamp+NAT问题
貓的博客
10-12 4887
在排查一个超时问题的时候，又再一次遇到了 tcp_tw_recycle 在遇到 NAT 的场景下，可能导致丢包的问题， 掉进同一个坑两次，因此做一次记录；特别是手抽改过系统tcp参数的应用，需要注意   现象 不同主机C1,C2上的相同模块（开启timestamp），通过NAT网关（1个出口ip）访问同一服务S，主机C1 connect成功，而主机C2 connect失败   故障模型 ...
linux TIME_WAIT 相关参数
痴迷无限好
05-07 383
http://www.cnblogs.com/lulu/p/4149312.html net.ipv4.tcp_tw_reuse = 0 表示开启重用。允许将TIME-WAIT sockets重新用于新的TCP连接，默认为0，表示关闭 net.ipv4.tcp_tw_recycle = 0 表示开启TCP连接中TIME-WAIT sockets的快速回收，默认为0，表示关闭 net....
tcp短连接TIME_WAIT问题解决方法大全（3）——tcp_tw_recycle
热门推荐
华仔-技术博客
11-04 2万+
【tcp_tw_recycle和tcp_timestamps】 参考官方文档（http://www.kernel.org/doc/Documentation/networking/ip-sysctl.txt），tcp_tw_recycle解释如下： tcp_tw_recycle选项作用为：Enable fast recycling TIME-WAIT sockets. Default valu
tcp_tw_recycle 参数引发的tcp连接时而中断问题
anwei9164的博客
07-24 641
对该参数的理解 简单来说，当开启了tcp_tw_recycle时，kernel会记录每个peer的最后一个报文的时戳，如果记录的该时戳仍然有效(距离当前时间小于TCP_PAWS_MSL)，并且新收到的syn报文的时戳，比kernel记录的该peer的时戳还要小(换句话说，时光倒流了)，那么就认为新收到的syn报文是有问题的(比如是某个在网络上兜兜转转了很久才到目的地址的syn)，从而d...
tcp_tw_recycle引起的TCP握手失败
祈雨v的博客
07-25 2715
背景 测试环境的一台Nginx服务器，最近一直被前端同事吐槽网络有问题，经常出现访问HTTP请求时超时，哪怕是静态文件也经常超时。 刚开始以为是公司网络抽风了，也就没放在心上，但持续了一个星期，而且复现率很高，这才反应过来应该不是网络的锅。于是在请求客户端与Nginx服务器上均作了抓包。 本地客户端抓包结果如下图1，请求Nginx服务器TCP握手时超时。结果似乎很明朗，客户端TCP握手的SYN请求丢包导致多次重试，直到重试超时而TCP握手失败。看上去似乎就是网络问题，但这复现率也太高了，于是在服务器上也做了
NAT网络下TCP连接建立时可能SYN包被服务器忽略-tcp_tw_recycle
为梦想奋斗
05-09 1866
现象：有某种上网方式的用户经常不能连接到服务器。简单来说，tcp_tw_recycle 机制允许协议不需要真的等待2个最大段生存时间MSL 那么长，就可以关闭一个连接了，只需要等待2个数据包来回时间，这个相对很短，所以TIME_WAIT状态的连接就可以及时回收了，免得占用系统资源。但2*MSL改为了2*RTT， 那么问题很明显，可能出现数据包错乱，比如被动关闭一方的FIN迟迟没有到来，服务器这边会
不要在linux上启用net.ipv4.tcp_tw_recycle参数
weixin_34358092的博客
03-20 2245
不要在linux上启用net.ipv4.tcp_tw_recycle参数发布于 2015/07/27莿鸟栖草堂本文为翻译英文BLOG《Coping with the TCP TIME-WAIT state on busy Linux servers》，但并非完整的翻译，译者CFC4N对原文理解后，进行了调整，增加了相关论点论据，跟原文稍有不同。翻译的目的，是为了...
tcp_tw_recycle和tcp_timestamps导致connect失败问题
enchanterblue的专栏
05-02 530
tcp_tw_recycle和tcp_timestamps导致connect失败问题     近来线上陆续出现了一些connect失败的问题，经过分析试验，最终确认和proc参数tcp_tw_recycle/tcp_timestamps相关；1. 现象    第一个现象：模块A通过NAT网关访问服务S成功，而模块B通过NAT网关访问服务S经常性出现connect失败，抓包发现：服务S端已经收到了s...
net.ipv4.tcp_tw_recycle、net.ipv4.tcp_tw_reuse回收tcp连接总结
bob_tthp的博客
10-01 2588
对于tcp连接 TIME_WAIT使用建议使用以下优化方式： 1.修改net.ipv4.ip_local_port_range参数，增加客户端端口可用范围。 2.或服务器IP，让服务器能容纳足够多的TIME-WAIT状态连接。在我们常见的互联网架构中（NGINX反代跟NGINX，NGINX跟FPM，FPM跟redis、mysql、memcache等），减少TIME-WAIT状态的TCP连接，最有效...
linux内核网络参数tcp_tw_recycle 和 tcp_tw_reuse 你搞清楚了吗？
云原生实验室
07-05 5737
Docker 技术鼻祖系列原文链接：https://blog.youkuaiyun.com/u010278923/article/details/102663535今天在生产环境遇到了一个奇怪的网络...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值