阿里云nginx报错问题:2048 worker_connections are not enough

本文记录了一次解决阿里云服务器卡顿的问题过程,通过调整nginx配置和升级服务器配置解决问题。详细介绍了问题现象、排查步骤及最终解决方案。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

当我正在工作时,开发的一个员工发微信告诉我,阿里云一台服务登录很慢,登录进去操作很卡顿;

我就立刻登录进去,查看了下进程:(ps -aux)这台有nginx(有反代),还有mysql,握草,还有个tomcat,这台配置很多低,还跑了那么多服务,

虽然是拿来测试用的,也扛不住你们这样糟蹋啊,我(top)了下,尼玛,好几秒才出现;先不管,看那个服务占用CPU资源的,看了下负载(load average: 1.19, 1.39, 1.37)

正常啊。这台配置是:CPU:2核,内存:4G,20M带宽,因为这台nginx用来存放APP中的H5静态页面和图片,带宽大些。

然后我就看下nginx的错误日志,看到了问题:2048 worker_connections are not enough   有很多这样,

又看了nginx.conf配置:

#user  nobody;
worker_processes  3;

#error_log  logs/error.log;
#error_log  logs/error.log  notice;
#error_log  logs/error.log  info;

#pid        logs/nginx.pid;


events {
        use epoll;
        worker_connections  2048;
}

  

又看了下阿里云控制台监控,CPU负载有一点点高,为什么和我在远程登录top查看的不一样啊,好纠结,最后参考了阿里云的监控,

我把上面的配置标记的地方增加下,worker_connections 2048 改了4096,增加一倍,

再看日志,没有再报了  2048 worker_connections are not enough  

出现这样的了  

2018/01/03 17:22:57 [alert] 9795#0: worker process 5924 exited on signal 9
2018/01/03 17:23:20 [alert] 9795#0: worker process 5929 exited on signal 9

查看内核信息(/var/log/messages):

Jan  3 17:37:31 debug010000002015 kernel: lowmem_reserve[]: 0 0 0 0
Jan  3 17:37:31 debug010000002015 kernel: Node 0 DMA: 2*4kB 2*8kB 1*16kB 1*32kB 1*64kB 0*128kB 1*256kB 0*512kB 1*1024kB 1*2048kB 3*4096kB = 15752kB
Jan  3 17:37:31 debug010000002015 kernel: Node 0 DMA32: 545*4kB 439*8kB 243*16kB 218*32kB 14*64kB 58*128kB 84*256kB 6*512kB 3*1024kB 1*2048kB 0*4096kB = 54572kB
Jan  3 17:37:31 debug010000002015 kernel: Node 0 Normal: 2952*4kB 8*8kB 12*16kB 84*32kB 3*64kB 1*128kB 1*256kB 1*512kB 1*1024kB 0*2048kB 0*4096kB = 16864kB
Jan  3 17:37:31 debug010000002015 kernel: 723 total pagecache pages
Jan  3 17:37:31 debug010000002015 kernel: 0 pages in swap cache
Jan  3 17:37:31 debug010000002015 kernel: Swap cache stats: add 0, delete 0, find 0/0
Jan  3 17:37:31 debug010000002015 kernel: Free swap  = 0kB
Jan  3 17:37:31 debug010000002015 kernel: Total swap = 0kB
Jan  3 17:37:31 debug010000002015 kernel: 1048575 pages RAM
Jan  3 17:37:31 debug010000002015 kernel: 67471 pages reserved
Jan  3 17:37:31 debug010000002015 kernel: 63109 pages shared
Jan  3 17:37:31 debug010000002015 kernel: 916409 pages non-shared
Jan  3 17:37:31 debug010000002015 kernel: [ pid ]   uid  tgid total_vm      rss cpu oom_adj oom_score_adj name
Jan  3 17:37:31 debug010000002015 kernel: [  477]     0   477     2705      147   0     -17         -1000 udevd
Jan  3 17:37:31 debug010000002015 kernel: [ 1109]     0  1109    23283       76   0     -17         -1000 auditd
Jan  3 17:37:31 debug010000002015 kernel: [ 1131]     0  1131    62369     1538   0       0             0 rsyslogd
Jan  3 17:37:31 debug010000002015 kernel: [ 1448]    38  1448     7653      135   1       0             0 ntpd
Jan  3 17:37:31 debug010000002015 kernel: [ 1539]     0  1539    20226      228   1       0             0 master
Jan  3 17:37:31 debug010000002015 kernel: [ 1554]    89  1554    20289      224   0       0             0 qmgr
Jan  3 17:37:31 debug010000002015 kernel: [ 1559]     0  1559    29218      154   0       0             0 crond
Jan  3 17:37:31 debug010000002015 kernel: [ 1576]     0  1576     5277       46   0       0             0 atd
Jan  3 17:37:31 debug010000002015 kernel: [ 1601]     0  1601      396       68   1       0             0 aliyun-service
Jan  3 17:37:31 debug010000002015 kernel: [ 1614]     0  1614    17457      154   0       0             0 login
Jan  3 17:37:31 debug010000002015 kernel: [ 1616]     0  1616     1016       22   1       0             0 mingetty
Jan  3 17:37:31 debug010000002015 kernel: [ 1618]     0  1618     2661      103   1     -17         -1000 udevd
Jan  3 17:37:31 debug010000002015 kernel: [ 1619]     0  1619     1016       22   1       0             0 mingetty
Jan  3 17:37:31 debug010000002015 kernel: [ 1621]     0  1621     1016       22   0       0             0 mingetty
Jan  3 17:37:31 debug010000002015 kernel: [ 1623]     0  1623     1016       21   0       0             0 mingetty
Jan  3 17:37:31 debug010000002015 kernel: [ 1625]     0  1625     1016       22   0       0             0 mingetty
Jan  3 17:37:31 debug010000002015 kernel: [10105]     0 10105    16559      182   0     -17         -1000 sshd
Jan  3 17:37:31 debug010000002015 kernel: [ 9795]   500  9795     7158      335   0       0             0 nginx
Jan  3 17:37:31 debug010000002015 kernel: [19524]     0 19524     2280      123   0       0             0 dhclient
Jan  3 17:37:31 debug010000002015 kernel: [31947]     0 31947    16624      164   1       0             0 saslauthd
Jan  3 17:37:31 debug010000002015 kernel: [31948]     0 31948    16624      164   1       0             0 saslauthd
Jan  3 17:37:31 debug010000002015 kernel: [31949]     0 31949    16624      164   0       0             0 saslauthd
Jan  3 17:37:31 debug010000002015 kernel: [31950]     0 31950    16624      164   1       0             0 saslauthd
Jan  3 17:37:31 debug010000002015 kernel: [31951]     0 31951    16624      164   0       0             0 saslauthd
Jan  3 17:37:31 debug010000002015 kernel: [ 1175]     0  1175     2661      103   1     -17         -1000 udevd
Jan  3 17:37:31 debug010000002015 kernel: [25593]   500 25593    27111      116   0       0             0 bash
Jan  3 17:37:31 debug010000002015 kernel: [15156]     0 15156    29165      160   0       0             0 wrapper
Jan  3 17:37:31 debug010000002015 kernel: [11631]     0 11631    27077       79   0       0             0 mysqld_safe
Jan  3 17:37:31 debug010000002015 kernel: [11876]    27 11876   421620   120678   1       0             0 mysqld
Jan  3 17:37:31 debug010000002015 kernel: [ 4190]     0  4190   909659   118199   0       0             0 java
Jan  3 17:37:31 debug010000002015 kernel: [21183]     0 21183     7684      173   1       0             0 AliYunDunUpdate
Jan  3 17:37:31 debug010000002015 kernel: [21235]     0 21235    32183     1526   1       0             0 AliYunDun
Jan  3 17:37:31 debug010000002015 kernel: [ 3026]     0  3026   626630    14437   0       0             0 java
Jan  3 17:37:31 debug010000002015 kernel: [ 4553]     0  4553    25640      258   1       0             0 sshd
Jan  3 17:37:31 debug010000002015 kernel: [ 4555]   500  4555    25640      262   1       0             0 sshd
Jan  3 17:37:31 debug010000002015 kernel: [ 4556]   500  4556    27111      117   0       0             0 bash
Jan  3 17:37:31 debug010000002015 kernel: [ 4578]   500  4578    25238       26   0       0             0 tail
Jan  3 17:37:31 debug010000002015 kernel: [ 5161]     0  5161    25640      257   0       0             0 sshd
Jan  3 17:37:31 debug010000002015 kernel: [ 5163]   500  5163    25640      257   0       0             0 sshd
Jan  3 17:37:31 debug010000002015 kernel: [ 5164]   500  5164    27111      126   0       0             0 bash
Jan  3 17:37:31 debug010000002015 kernel: [ 5421]     0  5421    25640      258   0       0             0 sshd
Jan  3 17:37:31 debug010000002015 kernel: [ 5423]   500  5423    25640      258   1       0             0 sshd
Jan  3 17:37:31 debug010000002015 kernel: [ 5424]   500  5424    27111      125   0       0             0 bash
Jan  3 17:37:31 debug010000002015 kernel: [ 6188]   500  6188    36018      966   0       0             0 python
Jan  3 17:37:31 debug010000002015 kernel: [ 6190]   500  6190   283830   277086   0       0             0 nginx
Jan  3 17:37:31 debug010000002015 kernel: [ 6194]   500  6194   219105   212345   0       0             0 nginx
Jan  3 17:37:31 debug010000002015 kernel: [ 6199]   500  6199   117088   110346   0       0             0 nginx
Jan  3 17:37:31 debug010000002015 kernel: [ 6200]     0  6200    25640      263   1       0             0 sshd
Jan  3 17:37:31 debug010000002015 kernel: [ 6202]   500  6202    25640      264   0       0             0 sshd
Jan  3 17:37:31 debug010000002015 kernel: [ 6203]   500  6203    27111      119   0       0             0 bash
Jan  3 17:37:31 debug010000002015 kernel: [ 6222]   500  6222    36887      108   0       0             0 su
Jan  3 17:37:31 debug010000002015 kernel: [ 6223]     0  6223    27111      120   1       0             0 bash
Jan  3 17:37:31 debug010000002015 kernel: [ 6262]     0  6262    25238       30   0       0             0 tail
Jan  3 17:37:31 debug010000002015 kernel: Out of memory: Kill process 6190 (nginx) score 282 or sacrifice child
Jan  3 17:37:31 debug010000002015 kernel: Killed process 6190, UID 500, (nginx) total-vm:1135320kB, anon-rss:1108148kB, file-rss:196kB

 

原因是系统内存不可用导致进程挂掉。

内存不够的原因,只有升级阿里云主机配置了,反应给我上级,等待升级,后续。。。。。。

 

昨天反应后,就升级配置了,花了二千多大洋,看配置

升级之后还是只要开启nginx 连接数就上涨来了,ssh连接管理敲命令卡顿,弄到半夜,找不到什么毛病,气死我了,不管了,睡觉。。。。、

 

早上来了以后TMD 神奇的好了,这套路难道是阿里云逼迫客户升级配置吗。想不明白。

 现在nginx配置:

#user  payworth;
worker_processes  8;

#error_log  logs/error.log;
#error_log  logs/error.log  notice;
#error_log  logs/error.log  info;

#pid        logs/nginx.pid;

worker_rlimit_nofile 65535;

events {
        use epoll;
        worker_connections  102400;
       accept_mutex on; 
}

  nginx的log/error.log里也没有任何报错了。

 

异常截图:

 

 

 

转载于:https://www.cnblogs.com/chenheping/p/8184738.html

<think>好的,我现在需要帮助用户分析他们提供的Nginx错误日志。首先,用户展示了两条错误信息,分别是error和alert级别的。我需要分别解析这两条日志,理解它们的含义,并给出相应的解决建议。 首先看第一条错误:[error] 11000#13576: *17166 WSARecv() failed (10054: An existing connection was forcibly closed by the remote host) while reading response header from upstream。这条错误发生在客户端127.0.0.1向服务器发送POST请求到/SystemSet/v2/getdefulConfig.do时,上游服务器是http://127.0.0.1:18080。错误代码10054表示远程主机强制关闭了现有连接,可能的原因包括上游服务器崩溃、超时、或主动断开连接。我需要考虑上游服务是否稳定,是否有异常关闭的情况,或者网络问题导致连接中断。 接下来是第二条警报:[alert] 11000#13576: *17716 1024 worker_connections are not enough while connecting to upstream。这里提到worker_connections不足,发生在处理GET请求/SystemSet/code.do时。这说明Nginx配置的worker_connections值(当前是1024)不足以处理当前的并发连接数,导致无法连接到上游服务器。需要检查Nginxworker_processes和worker_connections设置,可能需要增加这两个值,并调整系统的文件描述符限制。 接下来,我需要将这两条错误联系起来分析。第一条错误可能是由于上游服务器的问题,而第二条警报则直接指出了Nginx本身的连接数限制问题。用户可能需要同时处理上游服务器的不稳定性和Nginx的配置优化。 可能的解决步骤包括: 1. 检查上游服务器(127.0.0.1:18080)的状态,查看是否有崩溃、日志中的异常,或者资源不足(如内存、CPU过载)。 2. 确保上游服务的稳定性,比如增加超时设置,调整keepalive参数,避免主动断开连接。 3. 针对worker_connections不足的问题,修改Nginx配置中的worker_connectionsworker_processes,可能需要设置worker_connections为更高的值,如2048,并调整worker_processes为CPU核心数。 4. 检查系统的ulimit设置,确保文件描述符限制足够支持新的worker_connections。 5. 监控Nginx的连接数和系统资源使用情况,确认调整后的配置是否有效,是否需要进一步优化。 同时,用户提到的这两个错误可能有关联。如果上游服务器响应缓慢或频繁断开,可能导致Nginx堆积大量等待的连接,从而触发worker_connections不足的问题。因此,解决上游服务器的问题可能也会缓解连接数不足的情况。 最后,需要建议用户检查日志中的时间戳,是否有其他相关错误,以及是否有最近的配置更改或流量激增的情况,这些都可能影响系统的表现。此外,建议用户进行压力测试,确保调整后的配置能够处理预期的负载。</think>以下是针对你提供的Nginx错误日志的分析和解决思路: --- ### 一、第一条错误分析(error级别) **日志内容** ``` 2025/03/18 17:36:26 [error] 11000#13576: *17166 WSARecv() failed (10054: An existing connection was forcibly closed by the remote host) while reading response header from upstream, client: 127.0.0.1, server: , request: "POST /SystemSet/v2/getdefulConfig.do HTTP/1.0", upstream: "http://127.0.0.1:18080/SystemSet/v2/getdefulConfig.do" ``` **原因解析** 1. **错误码 10054**:表示上游服务器(`http://127.0.0.1:18080`)主动关闭了连接,可能原因包括: - 上游服务器进程崩溃或意外终止。 - 上游服务器处理请求超时后主动断开。 - 客户端与上游服务器之间的网络不稳定。 2. **上下文关联**:该错误发生在读取响应头阶段,说明上游服务器已建立连接,但未返回完整响应就断开了。 **解决方案** 1. **检查上游服务状态**:确保 `127.0.0.1:18080` 的服务进程正常运行,查看其日志是否有异常(如内存溢出、崩溃等)。 2. **优化超时配置**:在Nginx的 `http` 或 `location` 块中增加超时参数,例如: ```nginx proxy_connect_timeout 60s; proxy_read_timeout 60s; ``` 3. **启用Keepalive**:配置上游连接的Keepalive复用,减少频繁建连导致的资源消耗: ```nginx upstream backend { server 127.0.0.1:18080; keepalive 32; # 保持长连接数量 } ``` --- ### 二、第二条错误分析(alert级别) **日志内容** ``` 2025/03/18 17:36:26 [alert] 11000#13576: *17716 1024 worker_connections are not enough while connecting to upstream, client: 127.0.0.1, server: , request: "GET /SystemSet/code.do?t=1742290586315 HTTP/1.0" ``` **原因解析** 1. **worker_connections不足**:Nginx配置的 `worker_connections` 参数(当前值为1024)不足以处理并发请求,导致无法建立新连接到上游服务器。 2. **根本原因**:可能是突发流量高峰或上游服务响应缓慢,导致Nginx工作进程的连接池耗尽。 **解决方案** 1. **调整Nginx配置**: 修改 `nginx.conf`,优化以下参数: ```nginx worker_processes auto; # 自动匹配CPU核心数 events { worker_connections 2048; # 建议调整为2048或更高 } ``` 2. **调整系统文件描述符限制**: - 修改系统限制(临时生效): ```bash ulimit -n 65536 ``` - 永久生效:在 `/etc/security/limits.conf` 中添加: ```conf * soft nofile 65536 * hard nofile 65536 ``` 3. **监控并发连接数**:使用 `nginx -T` 查看当前配置,并通过 `ss -s` 或 `netstat` 监控实际连接数。 --- ### 三、关联问题分析 1. **错误链可能性**: - 若上游服务响应缓慢,可能导致Nginx堆积大量等待的连接,进而触发 `worker_connections` 不足的警报。 - 上游服务的不稳定(如频繁崩溃)可能导致Nginx重试机制耗尽连接池。 2. **综合优化方向**: - **稳定上游服务**:确保 `127.0.0.1:18080` 服务高可用,避免崩溃或超时。 - **调整Nginx负载**:通过负载均衡分散请求到多个上游节点。 - **限流措施**:使用Nginx的 `limit_req` 或 `limit_conn` 模块防止突发流量冲击。 --- ### 四、验证步骤 1. **重启Nginx生效配置**: ```bash nginx -t # 检查配置语法 nginx -s reload # 重新加载配置 ``` 2. **监控工具**: - 使用 `top` 或 `htop` 观察CPU/内存使用率。 - 使用 `nginx-status` 模块或第三方工具(如Prometheus)监控连接池状态。 如果问题持续,建议进一步提供上游服务的日志和Nginx完整配置以深入排查。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值