nginx 异常长连接快速断开

本文介绍了作者在处理nginx长连接异常时遇到的问题,即设备端nginx服务在设备断网后未自动关闭连接,影响其他设备的连接。通过分析源代码和测试程序,作者发现保活检测配置在特定情况下无效。通过抓包分析,注意到只有在有数据交换时Keep-Alive才会激活,并且需要处理TCP Retransmission。文中提到了修改系统设置以达到保活效果,但这种方法可能影响范围过大。最后,作者提出在nginx配置中通过调整SO_SNDBUF、fastcgi缓冲区大小和send_timeout来实现保活机制,并提供了相关配置和测试代码。

最近碰到了一个问题,设备端上挂载的nginx服务通过c版fcgi提供服务,其中的长连接API经常连接的设备断网后其他设备无法连接上。

初步查看源代码调试日志发现网络断了nginx未检测到,这时就想到给nginx添加保活检测,配置中listen加上了,写模块给connection也加上,均发现无效果,半天摸不清头脑。先写个小小的测试程序测试保活特性吧,开始我测试的是服务端只收不发,客户端只发不收,居然达到了我要的效果,短短几秒之后端口就关闭了。后面测试了收发同时跑的时候,死活都达不到效果,这就郁闷了。

listen保活检测配置:

listen 80 so_keepalive=1:1:1;
//so_keepalive= tcp_keepidle:tcp_keepintvl:tcp_keepcnt

经过抓包后发现这两种情况的不同之处,请看截图:


这是只收不发的抓包截图,Keep-Alive严格按照设定走。


这是收发同时跑的抓包截图,Keep-Alive一个都没有,多出了TCP Retransmission,这个是超时重传的包。后面查了下为啥保活没激活,仔细瞧了下保活注解后注意到了  ( 如果2小时内在此套接口的任一方向都没有数据交换  ) 这是重点。在后面这种情况下需要去处理超时重发,但是超时重发貌似只能调整系统设置(暂时未找到怎么通过设置socket调整超时重发参数,知道的希望告诉我下)。

改系统中的设定如下,可以达到了效果。

echo "net.ipv4.tcp_retries2=5" >> /etc/sysctl.conf
sysctl -p

但是改系统参数配置影响范围有点大,这个是能是没有办法之后的方法了。之后翻找了下nginx中fastcgi流程,与源码对照的看了下,发现可以这么操作:

    1.清零 SO_SNDBUF,,通过listen 80 sndbuf=0; 参数修改

    2.降低fastcgi缓冲区大小,避免太多次的缓冲区操作导致超时延后

    3.设置send_timeout 1

    ps:1,2两点为了使协议栈和用户发送缓冲能尽快的装满,走入发送超时检测流程。

具体配置如下:

listen 80 sndbuf=0;
...

location ~ \.push$ {
    send_timeout 1;
    fastcgi_buffer_size 200;
    fastcgi_buffers 2 200;                
    fastcgi_busy_buffers_size 200;
    ...
}

nginx结构流程图.vsdx

nginx保活模块:https://pan.baidu.com/s/1EGLmNg5S9uXZloeLCvPOFQ

测试用c版代码:

server.c

#include <stdint.h>
#include <stdio.h>
#include <stdlib.h>

#ifdef _WIN32
#define WIN32 1
#endif

#ifdef WIN32
#include <winsock2.h>
#include <windows.h>
#include <mstcpip.h>

#define close closesocket
#else
#include <unistd.h>
#include <sys/select.h>
#include <sys/time.h>
#include <sys/types.h>
#include <sys/socket.h>
#include <netinet/in.h>
#include <netinet/tcp.h>
#include <fcntl.h>
#include <errno.h>
typedef int SOCKET;

#endif

#define LOGS_FULL(OPTION,ERRNO) \
		printf("(%s %d %s) %s errno:%d",__FILE__,__LINE__,__FUNCTION__,OPTION,ERRNO);

#define LOGS(OPTION,ERRNO) \
		printf("%s errno:%d",OPTION,ERRNO);

#define ERRORS(OPTION,ERRNO) LOGS(OPTION,ERRNO)

#ifdef WIN32
int initNetwork()
{
	WSADATA wsaData;
	int ret = WSAStartup(MAKEWORD(2,2), &wsaData);
	if (ret != 0) return 1;
	return 0;
}
int setnonblocking(SOCKET sock)
{
	unsigned long ul=1;
	int ret=ioctlsocket(sock,FIONBIO,(unsigned long *)&ul);
	if(ret==SOCKET_ERROR)
	{
	}
	return ret;
}
int socket_keepalive(SOCKET socket)
{
    int keep_alive = 1;
    int ret = setsockopt(socket, SOL_SOCKET, SO_KEEPALIVE, (char*)&keep_alive, sizeof(keep_alive));
    if (ret == SOCKET_ERROR)
    {
        printf("SO_KEEPALIVE failed:%d\n", WSAGetLastError());
        return -1;
    }

    struct tcp_keepalive in_keep_alive = {0};
    unsigned long ul_in_len = sizeof(struct tcp_keepalive);
    struct tcp_keepalive out_keep_alive = {0};
    unsigned long ul_out_len = sizeof(struct tcp_keepalive);
    unsigned long ul_bytes_return = 0;

    in_keep_alive.onoff = 1;
    in_keep_alive.keepaliveinterval = 5000;
    in_keep_alive.keepalivetime = 1000;

    ret = WSAIoctl(socket, SIO_KEEPALIVE_VALS, (LPVOID)&in_keep_alive, ul_in_len,
             
<think>好的,用户想了解如何在Nginx中正确配置以处理HTTP请求和TCP连接的释放。我需要先回忆一下Nginx相关的配置选项,特别是关于连接管理和Keepalive的设置。 首先,HTTP长连接(Keepalive)是通过保持TCP连接在完成请求后不立即关闭,以便后续请求复用,这样可以减少连接建立的开销。Nginx作为反向代理时,需要同时处理客户端和后端服务器的连接。记得用户提到的引用[1]中提到,默认情况下Nginx使用HTTP 1.0与后端通信,而HTTP 1.0不支持长连接,所以需要设置proxy_http_version为1.1来启用长连接。 然后,配置客户端的Keepalive。这部分涉及keepalive_timeout和keepalive_requests指令,前者控制连接保持的时间,后者限制每个连接的最大请求数。这样设置可以确保连接在空闲一段时间或处理足够请求后关闭,避免资源浪费。 接下来是上游服务器(后端)的连接管理。使用keepalive指令来定义连接池的大小,这样Nginx可以复用与后端的连接,减少频繁建立连接的开销。同时,proxy_http_version需要设置为1.1,并且可能需要设置proxy_set_header来传递正确的头信息,如Connection头,确保后端服务器也支持长连接。 还要注意连接释放的触发条件。比如,keepalive_timeout超时后,连接会被关闭;达到keepalive_requests的请求数后,连接也会被释放。此外,可能需要调整其他相关参数,比如proxy_read_timeout,以处理后端响应超时的情况,防止悬挂连接占用资源。 用户提供的引用中提到,Nginx默认使用短连接访问后端,所以配置长连接需要明确设置。同时,标准HTTP模块的配置如端口、编码等可能也需要考虑,不过用户的问题主要集中在连接释放,所以重点应该放在Keepalive和代理相关的指令上。 总结一下,正确的配置需要同时处理客户端和后端的Keepalive设置,确保两端都正确启用长连接,并在适当的时候释放连接。需要检查各个超时和请求数限制的参数,避免资源泄漏。此外,引用中的信息需要正确标注,比如proxy_http_version的设置引用自[^1],而标准模块的功能参考引用[^2]。</think>在Nginx中正确处理HTTP请求和TCP连接的释放,需重点关注连接复用机制与超时参数的配置。以下是具体配置方法: ### 1. 客户端HTTP长连接配置 通过`keepalive_timeout`控制客户端TCP连接的保持时间,`keepalive_requests`限制单个连接的最大请求数: ```nginx http { keepalive_timeout 65s; # 空闲连接保持65秒后关闭 keepalive_requests 100; # 单个连接处理100次请求后自动关闭 } ``` 该配置可避免连接无限占用资源,超过设定阈值后Nginx会自动释放连接。 ### 2. 上游服务器连接管理 与后端服务器的长连接需通过`keepalive`指令配置连接池: ```nginx upstream backend { server 192.168.1.10:8080; keepalive 50; # 保持50个长连接 } server { location / { proxy_http_version 1.1; # 强制使用HTTP/1.1协议 proxy_set_header Connection ""; proxy_pass http://backend; # 连接释放控制 proxy_read_timeout 60s; # 后端响应超时时间 proxy_send_timeout 60s; # 发送请求超时时间 } } ``` `proxy_http_version 1.1`确保Nginx与后端使用支持长连接的协议,`keepalive 50`创建可复用的连接池减少TCP握手开销。 ### 3. 关键参数说明 | 参数 | 作用 | |-----------------------|----------------------------------------------------------------------| | `keepalive_timeout` | 控制客户端连接保持时间,超时自动断开 | | `keepalive_requests` | 限制单个连接的最大请求次数,达到后触发连接重置 | | `proxy_http_version` | 必须设置为1.1才能启用HTTP长连接特性 | | `proxy_read_timeout` | 定义从后端读取响应的超时时间,防止僵尸连接 | ### 4. 连接释放触发条件 - **主动释放**:通过`keepalive_requests`达到设定请求次数 - **被动释放**:超过`keepalive_timeout`或`proxy_read_timeout`设定的时间阈值 - **异常释放**:客户端主动断开或后端服务器返回错误
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值