客户端产生CLOSE_WAIT状态的解决方案

TCP网络编程:CLOSE_WAIT和TIME_WAIT导致端口耗尽的问题与解决方案 - CLOSE_WAIT问题的根源是代码逻辑错误,修复代码即可解决。 - TIME_WAIT积压的本质是TCP的安全机制,需根据场景选择解决方法: - 强制关闭:使用`SO_LINGER`。 - 快速重用:使用`SO_REUSEADDR`。 - 理解TCP状态和内核行为,才能在解决问题时更有针对性。 阅读详情

现象

生产环境和测试环境都发现有个外围应用通过搜索服务调用搜索引擎时,偶尔会出现大量的访问超时的问题,通过如下方式进行分析排查:

l 首先是拿到搜索服务的JavaCore,发现其堵在HttpClient的发送上面,被堵的连接有数百个,原因是不能够从连接池中获取到连接;

l 首先想到的就是连接池没有释放,检查代码,也确实存在着一些调用没有释放连接,特别是在异常的情况下,针对这一部分代码进行修复后,可是一段时间之后还是出现了访问超时的问题;

l 考虑到这个外围应用的访问现出问题的时候,其它的外围应用调用搜索服务是没有问题的,因此确定当前搜索服务还没有挂;

l 不同的外围应用可能调用的后台搜索引擎是不一样的,难道是该外围应用对应的搜索引擎出现了问题?不过经过对该搜索引擎进行分析,该搜索引擎本身是正常的,但是有一个奇怪的现象,在外围应用调用搜索服务发生超时时,搜索引擎本身没有接受到任何请求;

l 也就是说经搜索服务的请求都没有提交到该搜索引擎上,难道是搜索服务与该搜索引擎之间的连接有问题?通过网络排查,使用Ping和Telnet进行正向和反向确定,从搜索服务和搜索引擎之间的网络是正常的,且端口也可以正常访问;

l 再回到搜索服务所在的服务器,通过netstat一看,发现有400个CLOSE_WAIT与该搜索引擎相关的连接,这个数字恰好是应用中设置的单个Route所能够连接的最大连接数。

 

分析到此,问题就明朗了,HttpClient连接池的中创建连接数已经达到了最大数字,不能够创建新的连接了,已经创建的连接都是在等待关闭(CLOSE_WAIT)的状态,没有被放回到可用的连接池中,不能够用于处理新的连接请求,因而所有的请求都是堵在了从连接池中获取连接哪里。

要解决这个问题,首先需要知道CLOSE_WAIT产生的原因,才能够解决该问题,或者减少该问题的发生。

TCP连接关闭时需要四次握手才能够完成,如下图所示:

 

产生CLOSE_WAIT状态的一方,是属于被动关闭的一方,用简单的话对解释上图(主动关闭方为A,被动关闭方为B):

A发一条FIN(关闭)请求给B,说我要关闭了;

B回应一条ACK(确认)请求给A,说我知道了,你关吧,此时B就会进行CLOSE_WAIT状态;

B发送一条FIN(关闭)请给A,说我要关闭了;

A收到发送一条ACK(确认)消息说,你关闭吧。

 

上面四次握手完成后,双方的连接就都关闭了,但是这里在客户端产生了CLOSE_WAIT现象,首先可以确定的是服务端主动关闭的连接,且客户端没有给服务端发送关闭的请求(第三次握手请求),就会一直处在CLOSE_WAIT的状态,可是客户端为什么不向服务端发送关闭的请求,它当时在忙什么呢,难道应用在关闭前有哪么多事情要做?还有就是为什么服务会主动关掉客户端的这么多连接?

有人说这可能是服务端在调用关闭时,而客户端正在执行RECV(数据接收),这时候有可能服务端发送的FIN包客户端接收出错,就是由TCP代回了一个ACK包,所以客户端就会处在CLOSE_WAIT的状态中,因而建议判断RECV时是否出错,如果出错就主动关闭连接,这样就可以防止没有接收到FIN包。

也有人说这是由于客户端请求服务端时,超时就有可能出现这种情况,我对这种情况做了实验,分别启动了客户端和服务端,在服务端中暴露一个超时的服务接口,在客户端中通过POST的方式调用,然后再通过第三方工具调用客户端去调用服务端的超时接口,测试分别在Linux以及Windows平台进行了测试,可是经过100万个连接超时的请求后,客户端没有出现CLOSE-WAIT的现象,只有服务端才出现了CLOSE-WAIT,并且都会正常的关闭。

我们尝试过优化Linux中TCP连接参数,减少TCP的连接时间以及增加连接的可用性,如下:

sysctl -w net.ipv4.tcp_timestamps=0 

sysctl -w net.ipv4.tcp_tw_reuse=1 

sysctl -w net.ipv4.tcp_tw_recycle=1 

sysctl -w net.ipv4.tcp_fin_timeout=30 

sysctl -w net.ipv4.tcp_keepalive_time=1800 

sysctl -w net.ipv4.tcp_rmem="4096 87380 8388608" 

sysctl -w net.ipv4.tcp_wmem="4096 87380 8388608" 

sysctl -w net.ipv4.tcp_max_syn_backlog=4096 

也优化了HttpClient的参数,可是客户端还是会出现CLOSE_WAIT的情况,且搜索引擎是使用惠普的Autonomy,闭源的不好入手优化,最后还是通过在客户端实现定时任务定期检查当前连接中状态为leased(拿走但没有返回aviable可用队列中的连接)的连接的数量,检测到该这种连接的数量超过一定数量后,就关闭该连接池,释放所有连接,然后重新初使化该连接池,就可以解决这种问题了,经过测试这种试是可行的。不过曾经考虑到这种方式比较暴力,连可用的连接都给关闭了,本想只关闭那些长久未释放的连接,不过由于连接池没有暴露操作方法,通过反射可以获取到池中的连接,不过由于关联资源较多,操作麻烦,最后没有采用这种方式。

客户端产生CLOSE WAIT状态的解决方案 阅读详情

相关推荐

客户端出现close_wait

服务端主动关闭 : You have new mail in /var/spool/mail/root node1:/root/test#netstat -na | grep 8080 tcp 0 0 192.168.137.2:8080 192.168.137.3:43433 FIN_WAIT2 客户端没有关闭,此时close_...

zhaoyangjian724的专栏 755

有关通信造成系统崩溃问题

[b] [align=center][size=large]通信机制[/size][/align][/b]情景描述:系统产生大量“Too many open files” 原因分析:在服务器与客户端通信过程中,因服务器发生了socket未关导致的closed_wait发生,致使监听port打开的句柄数到了1024个,且均处于close_wait的...

huhanfu 972

网格自适应_Comsol案例解析17:自适应网格的使用

本期导读自适应网格细化有许多优势,比如可以不用对网格进行全局加密,增加计算精度,又会降低求解自由度。本期仍然以气泡上升案例为例,在两相流模块中使用自适应网格。【打开案例模型】【修改网格】适当让气泡边界加密,注意,曲率因子越小,曲线上的网格越密【添加自适应网格】使用默认的参数即可,这里的误差指示器用的是水平集phi。可以根据具体求解模型选择适当的自变量作为误差指示器。【口诀】默认的一般是最...

weixin_28726871的博客 5683

CLOSE_WAIT状态的原因与解决方法

分类:C/C++ 这个问题之前没有怎么留意过,是最近在面试过程中遇到的一个问题,面了两家公司,两家公司竟然都面到到了这个问题,不得不使我开始关注这个问题。说起CLOSE_WAIT状态,如果不知道的话,还是先瞧一下TCP的状态转移图吧。 关闭socket分为主动关闭(Active closure)和被动关闭(Passive closure)两种情况。前者是指有本地主机主动发起的关闭;而后者则是指本地主机检测到远程主机发起关闭之后,作出回应,从而关闭整个连接。将关闭部分的状态转移摘出来,就得到了下.

好习惯成就伟大 3万+

HAL库:中断处理函数 及 weak弱声明中断回调函数 详解

HAL库中断处理函数 及 weak弱声明中断回调函数

L_Z_J_I的博客 5170

部署资源管理系统chemx

资源管理系统的部署教程

weixin_40784215的博客 823

为什么这么多CLOSE_WAIT

只是本案例中因为open files不够了,影响了应用accept(), 导致accept queue满了,同时因为即使应用不accept(三次握手后,server端是否accept client端无法感知),client也能发送数据和发 fin断连接,这些响应都是os来负责,跟上层应用没关系,连接从握手到ESTABLISHED再到CLOSE_WAIT都不需要fd,也不需要应用参与。如下图所示,在连接进入accept queue后状态就是ESTABLISED了,也就是可以正常收发数据和fin了。

m0_73915763的博客 4424

数学建模灵敏性分析(一阶、二阶灵敏度)python代码+懒人专用版

对于勉强看懂了灵敏度分析的同学来说,本文给出一个方便移植、修改的python程序,可以很方便地进行灵敏度分析。

春江花朝秋月夜 1万+

TCP协议四次挥手过程-TIME_WAIT-CLOSE_WAIT状态的作用-大量出现如何处理?

TCP协议四次挥手过程 TIME_WAIT状态 被动关闭方发送FIN(第三次挥手),并等待主动关闭方返回ACK(第四次挥手) 若最终ACK丢失(第四次挥手失败),被动关闭方将重新发送FIN(第三次挥手),主动关闭方必须维护状态信息TIME_WAIT,保证自己可以接收,然后再重发最终ACK.不能让主动方发送完报文以后立马进入CLOSE状态 TIME_WAIT状态所带来的问题 主动断开方处于TIME_WAIT状态时,源端口无法使用 端口最大数是65535,因此如果频繁主动断开TCP连接,将很快耗.

weixin_37841366的博客 4413

Fiori Elements Analytical List Page 标题区配置全攻略:从变体、过滤模式到 UI.KPI 的工程化落地

ALP标题区是Fiori Elements Analytical List Page的核心交互区域,承担变体管理、过滤模式切换、KPI展示等关键功能。本文系统解析了标题区的组成结构、可用能力及工程实现要点,包括:1)标题区包含过滤类型切换、全局KPI、变体管理等交互元素;2)详细说明视觉过滤与紧凑过滤的同步规则及实现方式;3)介绍OData V2下通过UI.KPI注解配置标题区KPI的方法;4)提供manifest.json配置示例和CDS注解写法。文章还对比了V2与V4版本的差异,为ALP开发提供实用指导

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 248

零件边界线提取处理原理详解

该程序提出了一种高效的点云边界提取方法,通过三阶段处理流程实现零件几何特征的精确提取。首先采用RANSAC算法进行坐标系标准化,包括主平面检测、点云分割和双重旋转对齐。接着使用凹包算法和RANSAC直线拟合提取底面边界。最后通过多方向密度切片分析(Z向100片、X向50片),自动选择高密度切片进行边界提取和直线拟合。算法具有鲁棒性强、处理效率高(支持OpenMP并行计算)和参数可配置等特点,能有效提取零件的几何边界特征,为后续质量检测提供基础。实验结果显示该方法能准确提取零件的多方向边界线。

weixin_45196569的博客 434

TCP close-wait 状态分析

分析过程:根据TCP建立连接和断开连接的过程,如下图: close wait状态一般是在服务端出现的。执行:ss -tnp | grep CLOSE-WAIT | wc -l命令可查看有多少close wait连接状态;执行:ss -tnp | grep CLOSE-WAIT | more,根据第三、四列可以看出,由谁向谁发起socket连接(客户端发起请求的端口是随机的,服务端提供服务的端口比较有规律)。根据TCP断开连接的状态变换过程,基本可以判断close wait堆积是因为客户端发出FIN包,

sulijin的博客 6398

PCL RANSAC拟合直线并插值

空间直线线性插值的原理与实现方法。

点云侠的博客 137

TCP四次挥手,CLOSE_WAIT和TIME_WAIT

TCP四次挥手 由于TCP连接是全双工的,因此每个方向都必须单独进行关闭。假设终止命令由client端发起。 当客户端数据传输完成,准备断开连接时 1、Client端发送一个FIN报文给Server端。(序号为M) 1.1. 表示要终止Client到Server这个方向的连接。 1.1. 通过调用close(socket) API。 1.3 表示Client不再会发送数据到Server...

sully2008的专栏 2848

【用unity实现100个游戏之18】从零开始制作一个类CSGO/CS2、CF第一人称FPS射击游戏——基础篇1(附项目源码)

生存和射击游戏一直是我的最爱,说起3D最普遍的应该就是射击系统了,你可以在任何情况下加入射击功能,所以我写下了这篇FPS开发记录。希望对你有帮助。在这个项目中,你将学习如何设计和实现射击系统、武器系统、玩家控制、场景设计等方面的内容。通过这个项目,你将深入了解游戏开发中的许多核心概念和技术,并且在实践中不断提升自己。本项目将带你从零开始逐步实现一个完整的第一人称射击游戏,并且会逐步引入一些高级功能,如特效、声音等。

向宇的博客,专注php/web全栈 unity游戏开发,欢迎大家评论纠错 5506

IEM模型,地表粗糙度模拟

利用微波反演土壤水分时候,利用IEM模型可以实现对随机地表的模拟

TCP通信过程中time_wait和close_wait产生过多的原因和解决方法

TCP通信过程中time_wait,和close_wait产生过多的原因和解决方法。

Lce的专栏 1428

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,

TIME_WAIT跟CLOSE_WAIT(转)

TIME_WAIT和CLOSE_WAIT(转)   http://www.myexception.cn/operating-system/1441686.html   netstat -n | awk '/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}'  具体每种状态什么意思,其实无需多说,看看下面这种图就明白了,注意这里提

hintonic的专栏 1810

Probability and Statistics - 4th edition

Probability and Statistics - 4th edition

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

HttpClient4 TIME_WAIT和CLOSE_WAIT

  最近,公司的接口服务器(客户端,向外发送数据)频繁出现了connect timeout 以及readtime out 的情况,经过运维平台检测,并没有网络延时的情况。于是,开始怀疑连接池出了问题。   使用linux命令: netstat -n | awk '/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}'  可以清楚的看到tcp各...

早安嵩骏 897

CLOSE_WAIT状态的讨论

摘要:本文阐述了为何socket连接锁定在CLOSE_WAIT状态,以及通过什么措施力求避免这种情况。 不久前,我的Socket Client程序遇到了一个非常尴尬的错误。它本来应该在一个socket长连接上持续不断地向服务器发送数据,如果socket连接断开,那么程序会自动不断地重试建立连接。 有一天发现程序在不断尝试建立连接,但是总是失败。用netstat查看,这个程序竟然有上千个sock

大树叶 技术专栏 640

FIN_WAIT_2状态下的连接与Apache

原贴:http://doc.99net.net/doc/service/1076303865/1076481079.html FIN_WAIT_2状态下的连接与Apache

最实用的Linux博客 3215

[zz]CLOSE_WAIT状态的生成原因

CLOSE_WAIT状态的生成原因转载自:http://www.cnblogs.com/kevin-wu/archive/2006/11/27/574369.html首先我们知道,如果我们的Client程序处于CLOSE_WAIT状态的话,说明套接字是被动关闭的!因为如果是Server端主动断掉当前连接的话,那么双方关闭这个TCP连接共需要四个packet:       Server 

wuhran的Blog-C++,Linux,MySQL,PHP 2386

TCP状态迁移,CLOSE_WAIT & FIN_WAIT2 的问题

TCP状态迁移 大家对netstat -a命令很熟悉,但是,你有没有注意到STATE一栏呢,基本上显示着established,time_wait,close_wait等,这些到底是 什么意思呢,在这篇文章,我将会详细的阐述。 大家很明白TCP初始化连接三次握手吧:发SYN包,然后返回SYN/ACK包,再发ACK包,连接正式建立。但是这里有点出入,当请求者收到SYS /ACK包后,就开始建立连...

mnasd的博客 1293

close_wait状态的产生原因及解决

最近需要上线的逻辑server由于需要与大量的后台server交互,今天突然发现有大量的close_wait产生,于是仔细研究了一下: 首先我们知道,如果我们的服务器程序处于CLOSE_WAIT状态的话,说明套接字是被动关闭的! 因为如果是CLIENT端主动断掉当前连接的话,那么双方关闭这个TCP连接共需要四个packet: Client –-> FIN  –-> Server Cl...

wWX336815的博客 1599
上一篇: Hadoop入门进阶步步高(六)-Hadoop1.x与Hadoop2的区别
下一篇: UML基础知识
冯立彬
冯立彬 优质创作者: 编程框架技术领域 优质创作者: 编程框架技术领域
博客等级 码龄21年 5458粉丝 593原创
评论 3
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值