Can’t connect to MySQL server有关linux tcp连接优化

最新推荐文章于 2022-03-09 14:51:28 发布
转载 最新推荐文章于 2022-03-09 14:51:28 发布 · 1.8k 阅读 · 0

本文详细记录了一次电信机房流量突然激增导致MySQL连接失败的故障排查过程，最终通过调整OS内核参数解决了问题。包括流量暴涨的原因分析、异常现象的初步判断、关键配置检查、OS参数优化以及问题反思。强调了及时调整OS参数对于避免连接超时的重要性。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >


最近有2台web机器链接mysql有时会出现Can’t connect to MySQL server的情况，查看exception日志：

如下：

[message:protected] => SQLSTATE[HY000] [2003] Can’t connect to MySQL server on ‘192.168.1.248′(99)
1）：问题描述：

2台web机器，只有其中一台出现该exception，另外一台无此问题；

exception logs: Can’t connect to MySQL server on ‘*.*.*.*’ (99)

2）：问题排查：

1、查看mysql的variables,status:

max_connect_errors = 50000
max_connections = 1000

max_user_connections = 200

max_connect_errors = 50000

max_connections = 1000

max_user_connections = 200

2、ulimit -a:

3、查看netstat -anp

查看问题机器的netstat -anp，发现大部分都是TIME_WAIT，怀疑是tcp的问题；

将近有3万的网络套接字，此时CPU也耗尽，导致这么多的TCP/IP连接CPU处理不过来，而使部分TCP/IP连接超时或处理失败

3、OS：

more /etc/sysctl.conf:

net.ipv4.tcp_syncookies = 1

新的连接可以重新使用TIME-WAIT套接字

net.ipv4.tcp_tw_reuse=1

启动TIME-WAIT套接字状态的快速循环功能

net.ipv4.tcp_tw_recycle=1

套接字关闭时，保持FIN-WAIT-2状态的时间

net.ipv4.tcp_fin_timeout=30

对于所有协议的队列，设置最大系统发送缓存(wmen)和接收缓存(rmem)到8M

net.core.wmem_max=8388608

net.core.rmem_max=8388608

让参数生效。

3）：问题原因：

报错”Can’t connect to MySQL server on ‘*.*.*.*’ (99) ” 参考MySQL Client端错误代码说明：错误代码为99，99的含义：$perror 99 OS error code  99:  Cannot assign requested address 这是一个本地OS的抛错，表示无法分配本地地址资源（应该是端口），socket无法创建

” Cannot assign requested address”，多半是由于客户端请求过于频繁，而Server端练级关闭后本地暂时处于TIME_WAIT，所以暂时端口都不可用导致。因此修改下OS参数就ok了




有个应用就是每次都会去查一个接口，接口返回用户的信息数据，从而展现不同的页面效果。大致流程如下

应用APP（电信）-> memcache ->电信custom接口 ->master-db

应用APP（网通）-> 网通custom接口 -> slave-db

接口环境是php（cgi） + nginx，接口已经运行很久，未出过异常

应用访问custom接口，然后接口去查数据库（数据库是主从复制，数据同步，各自机房读各自的数据库，写的话都写master-db）

有一点，就是电信机房是有memcache层的，而网通机房一直没有（考虑到网通机房流量不高，并且机房cache不同步，从上线起就网通机房一直未使用cache）

有一次上线，这个上线的版本有个改动就是把电信机房的memcache也取消了，然后 电信机房流量暴增

看pv统计：

$ “find /path -name ‘access*’|xargs wc -l|awk ‘END{print$1}’” fe

cmd :find /path ‘access*’|xargs wc -l|awk ‘END{print }’

type:fe

server1

2倍A total（28号是Atotal）

———–

server2

2倍B（28号是B total）

———–

server3

C 总计

———–

server4

D total

….

other servers ….

网通机房流量一直比较稳定左右，从未出任何问题

就是昨天电信custom接口流量暴增后，出现了异常，电信机房机器负载涨了40多倍，QPS涨了15倍 ，直到凌晨0：24分才降到1以下

应用也报了短暂的超时警报，不过php和nginx运行还是比较蛋定，重启依然非常快，终端也没有出现很卡的情况

流量是前一天的9倍！

异常就是error.log在上线后飙到3个G！！！

而且错误全都是Can’t connect to MySQL server on ’1.1.1.1′ (99)

即便在命令行下用mysql -hx.x.x.x -u -p

也间歇性地连接不上，但是据dba描述，数据库监控无任何异常，数据库上其他部门的应用也无异常

不知是否机器负载过高导致大量time wait，导致mysql连接超时或连接不上

以下是晚上0点13分的监控：

TIME_WAIT 涨了300倍（不知是否和他有关）

ESTABLISHED 涨了10倍

按理说，custom的网通接口流量非常稳定，从未出现过异常，电信机房接口飙了2倍就抗不住了，load直线上升，

为了排除cache引起的流量导致接口异常，22：30左右重新上了2个文件，把电信机房的memcache重新开启，

开启后慢慢load是降了，但是mysql错误依旧只是没那么多了

现在去机器上看，还是大量错误，提取日志如下

FastCGI sent in stderr: “PHPWarning:  mysql_connect()Can’t connect to MySQL server on ’1.1.1.1′ (99)in XXXXXX on line xxx

后来跟dba不断沟通排查，发现电信机房和网通机房的/etc/sysctl.conf配置有所区别

网通机房多了下面几行

net.ipv4.tcp_syncookies =1

net.ipv4.tcp_tw_reuse = 1

net.ipv4.tcp_tw_recycle =1

net.ipv4.tcp_fin_timeout= 5

原因就在这，把配置同步到杭电信机房后，问题就解决了，总结如下：

  1. 问题描述
    • 上线异常导致qps：五倍+，负载：四十倍+，虽然nginx+php表示很淡定没挂，但error.log飙到了3G/天，全是Can’t connect to MySQL server on ‘*.*.*.*’ (99)
    • 解决异常后，error.log日志少了，但TIME_WAIT依旧减不下去，数据库依旧连接是失败
  2. 问题排查
    • Mysql Config ? (no problem)
      • max_connect_errors = 50000 (no problem)
      • max_connections = 1000 (no problem)
      • max_user_connections = 950 (no problem)
    • OS Config ? (problem, 按以下修改问题就解决了)
      • vi /etc/sysctl.conf

        // 编辑

        net.ipv4.tcp_syncookies = 1

        net.ipv4.tcp_tw_reuse = 1

        net.ipv4.tcp_tw_recycle = 1

        net.ipv4.tcp_fin_timeout = 5

        // 让参数生效

        /sbin/sysctl -p

  3. 问题原因
    • 报错”Can’t connect to MySQL server on ‘*.*.*.*’ (99) ” 参考MySQL Client端错误代码说明：错误代码为99，99的含义：$perror 99 OS error code  99:  Cannot assign requested address 这是一个本地OS的抛错，表示无法分配本地地址资源（应该是端口），socket无法创建
    • Google一下” Cannot assign requested address”，多半是由于客户端请求过于频繁，而Server端练级关闭后本地暂时处于TIME_WAIT，所以暂时端口都不可用导致。因此修改下OS参数就ok了
  4. 问题反思
    • 这个问题非常紧急么？紧急！
      • 参考文章《nginx+php产生大量TIME_WAIT》：http://leven.blog.51cto.com/1675811/382097，遇到这样的问题，我们应该第一时间想到端口不可用，首先会导致nginx连不上php-cgi导致服务不可用，其次才是php-cgi连不上mysql，因此非常重要！
    • 为什么mysql不使用长连接pconnection呢？
      • pconnection mysql占用大量资源，并且在大并发情况下，例如个性化，活动促销等，连接过多导致无数的连接失败error，并牵制apache（nginx）ThreadsPerChild的参数
    • 高并发下的最佳实践？
      • apache短连接，nginx短连接，mysql短连接，虽然TIME_WAIT多了，但可通过修改OS内核加速TIME_WAIT的复用，经验之谈啊！

关于流量升高导致TIME_WAIT增加，MySQL连接大量失败的问题
宿命 宽恕 轮回
05-09 1602
有个应用就是每次都会去查一个接口，接口返回用户的信息数据，从而展现不同的页面效果。大致流程如下 应用APP（电信）->  memcache ->电信custom接口 ->master-db 应用APP（网通）-> 网通custom接口 -> slave-db 接口环境是php（cgi） + nginx，接口已经运行很久，未出过异常   应用访问custom接口，然后接口去查数据库（数
MySQL连接报错Can‘t connect to MySQL server的远程访问配置
最新发布
shejizuopin的博客
05-27 1213
在MySQL数据库开发中，Can't connect to MySQL server错误常因远程访问配置不当引发。主要成因包括：MySQL服务器未开启远程访问权限、防火墙或安全组限制、MySQL用户权限不足以及MySQL绑定地址配置不当。解决方案包括：通过SQL命令开启远程访问权限、配置防火墙或安全组开放MySQL端口、修改用户权限以允许特定IP访问，以及调整MySQL配置文件中的bind-address。预防措施包括统一权限管理、使用版本控制、彻底测试远程连接功能、使用IDE工具辅助配置以及增加应用程序中
解决mysql出现大量TIME_WAIT
06-27
解决mysql出现大量TIME_WAIT
mysql解决大量time_wait
weixin_34288121的博客
02-18 609
mysql解决大量time_wait 命令查看TIME_WAIT连接数 netstat -ae|grep "TIME_WAIT" |wc -l 早上登陆服务器的时候输入netstat -an|grepmysql 发现存在大量TIME_WAIT状态的连接 tcp 0 0 127.0.0.1:3306...
mysql 大量TIME_WAIT
weixin_34268753的博客
01-13 88
mysql 大量TIME_WAIT最近发现 mysql经常挂掉，后来看了netstat发现：[admin@server5 ~]$ netstat -an | grep 3306 | grep 'ESTABLISHED'|wc -l33[admin@server5 ~]$ netstat -an | grep 3306 | grep 'TIME_WAIT'|wc -l1677登...
ERROR 2002 (HY000): Can't connect to local MySQL server through socket '/tmp/mysql.sock'
09-09
在MySQL服务器的运行过程中，可能会遇到“ERROR 2002 (HY000): Can't connect to local MySQL server through socket '/tmp/mysql.sock'”这样的错误。这个错误提示表明，客户端试图通过Unix域套接字（socket文件）...
报错：2003-Can‘t connect to MySql server on
weixin_44437998的博客
08-07 5691
服务器centos7系统下虚拟环境允许python manage.py runserver 命令时出现：django.db.utils.OperationalError: (2003, “Can’t connect to MySQL server on ‘远程ip地址’ (113)”)； 或者通过navicat 连接远程数据库(2003, "Can’t connect to MySQL serve on ‘远程ip地址’； 报错提示通常是以下2个原因导致： 1、MySQL服务没有启动 2、linux中防火墙
在本地用 Navicat 连接远程数据库报错：Can't connect to MySQL server on 。。。
Anlior的博客
04-16 3941
在腾讯云新买了一台服务器，环境都安装好了，在本地用 Navicat 连接数据库，就是连接不上，一直报错Can’t connect to MySQL server on 。。。搞了三四个小时，终于搞定，分享一下过程。一、检查用户授权 1.进入ubuntu mysql命令界面，查看root用户授权show grants for 'root'@'%'; 2.如果没有授权记录，新增用户CREATE USE
Linux下，ERROR 2002 (HY000): Can‘t connect to local MySQL server through socket ‘/tmp/mysql.sock‘（2）
weixin_42338326的博客
12-28 3121
因为在用一个软件的应用商店时候不小心删掉了一些mysql的东西。mysql进不去了，命令也找不到了，最基本的版本查询也用不了。。就全卸载了，重装。ubuntu完全卸载mysql_w3045872817的博客-优快云博客_mysql ubuntu卸载 （还剩什么依赖就卸载什么依赖） 我是直到dpkg --list|grep mysql命令返回为空才了才停止卸载的。然后进行安装 sudo apt-get install mysql-server sudo apt-get install m...
mysql 大量 time wait_mysql出现大量的TIME_WAIT解决办法
weixin_34026053的博客
01-19 1893
如果你的mysql出现大量的TIME_WAIT，最可能的原因是mysql.colse()，才导致大量的mysql TIME_WAIT 哦，有了原因解决办法很简单1、找到有问题的程序加入 mysql.colse()即可解决了。2、直接修改mysql配置，设置TIME_WAIT时间不超过5秒即可linux系统中修改方法代码如下vi /etc/sysctl.conf编辑文件，加入以下内容：代码如下ne...
mysql wait_timeout
龍梵的专栏
07-12 432
jdbc链接mysql错如下： com.mysql.jdbc.exceptions.jdbc4.MySQLNonTransientConnectionException: Communications link failure during rollback(). Transaction resolution unknown. at sun.reflect.NativeConstructorA
mysql time wait_发现大量的TIME_WAIT解决办法
weixin_35703300的博客
02-17 623
今日上午一工作，有朋友就体现企业很多网址都无法打开，登录数据库查询网络服务器(windows)，发觉很卡,因此重新启动了下网络服务器，进到系统软件后，未过一会难题依然,查询了下过程中，发觉mysql占用量做到99%，能够毫无疑问的是mysql联接出現难题:netstat -an192.168.12.13:3306 192.168.12.12:30443 TIME_WAIT192...
MySQL wait_timeout参数设置与网上常见错误小纠
weixin_33681778的博客
11-14 211
  discard connection com.mysql.jdbc.exceptions.jdbc4.CommunicationsException: Communications link failure The last packet successfully received from the server was 1,210,878 milliseconds ago. ...
MYSQL数据库大量TIME_WAIT的解决方法
南通SEO
01-31 2785
MYSQL数据库大量TIME_WAIT的解决方法 有同事就反映公司好几个网站都打不开，登陆MySQL数据库。服务器(Windows)，发现很卡,于是重启了下服务器，进入系统后，没过一会问题依旧,查看了下系统进程，发现MySQL占用率达到99%，可以肯定的是MySQL连接出现问题: netstat -an | grep 3306 192.168.31.200:3306      192.168....
故障分析 | MySQL Server 端为什么有大量的TCP TIME_WAIT ?
ActionTech的博客
03-09 590
作者：李鹏博 爱可生 DBA 团队成员，主要负责 MySQL 故障处理和 SQL 审核优化。对技术执着，为客户负责。 本文来源：原创投稿 *爱可生开源社区出品，原创内容未经授权不得随意使用，转载请联系小编并注明来源。 最近客户的一台 MySQL Server 告警处于 TCP TIME_WAIT 状态的连接过多，通过查看相关监控发现 TCP Connections 中处于 TIME_WAIT 状态的连接一直在 3000~4000 ，如图： 在 OS 上查看 TCP 处于 TIME_WAIT 状态的连.
关于MySQL的wait_timeout连接超时问题报错解决方案
不见其长，日有所长
05-09 5471
1. 问题描述 想必大家在用MySQL时都会遇到连接超时的问题，如下图所示： ### Cause: com.mysql.jdbc.exceptions.jdbc4.CommunicationsException: The last packet successfully received from the server was 47,795,922 milliseconds ago. The last packet sent successfully to the server was 47,795,92
数据库无法启动 SQLSTATE[HY000] [2002] 错误代码 1067
qq_39593761的博客
03-27 1058
服务器在运行过程中 突然断电或者宕机 会对mysql数据库造成一定影响 服务器开机后会出现运行错误 mysql服务重启不了 出现这种情况 我们只需要到mysql安装目录下面的data文件夹中找下是否有ib_logfile0和ib_logfile1这两个数据文件 如果有 就删除这两个文件 然后重启mysql服务就好了 ...
TIME_WAIT引起Cannot assign requested address报错
热门推荐
黄规速博客:学如逆水行舟，不进则退
08-25 2万+
主动关闭的Socket端会进入TIME_WAIT状态，并且持续2MSL时间长度，MSL就是maximum segment lifetime(最大分节生命期），这是一个IP数据包能在互联网上生存的最长时间，超过这个时间将在网络中消失。MSL在RFC 1122上建议是2分钟，而源自berkeley的TCP实现传统上使用30秒，因而，TIME_WAIT状态一般维持在1-4分钟。     TIME_WA
LinuxERROR 2003 (HY000): Can't connect to MySQL server
02-19
### 解决 Linux 下 MySQL 连接错误 2003 的方法 当遇到 `ERROR 2003 (HY000): Can't connect to MySQL server` 错误时，通常意味着客户端尝试连接到 MySQL 服务器失败。此问题可能由多种原因引起。 #### 检查 MySQL 服务状态 确认 MySQL 服务是否正在运行是一个重要的排查步骤。可以使用以下命令来验证： ```bash sudo systemctl status mysql ``` 如果服务未启动，则可以通过下面的命令启动它[^1]： ```bash sudo systemctl start mysql ``` #### 验证网络配置 对于远程连接的情况，确保防火墙允许 MySQL 默认端口（通常是 3306）。检查并调整防火墙设置以开放必要的端口访问权限: ```bash sudo ufw allow 3306/tcp ``` 此外，还需确认 MySQL 绑定地址配置正确，在 `/etc/mysql/my.cnf` 或者 `/etc/my.cnf` 文件中的 `[mysqld]` 节下查找 `bind-address` 参数，并将其设为合适的 IP 地址或 `0.0.0.0` 来接受来自任何地方的请求[^2]。 #### 修改主机名解析 有时 DNS 解析问题也会导致此类错误发生。编辑 `/etc/hosts` 文件，确保 localhost 和其他相关域名被正确定义。例如： ```plaintext 127.0.0.1 localhost ::1 ip6-localhost ip6-loopback fe00::0 ip6-localnet ff00::0 ip6-mcastprefix ff02::1 ip6-allnodes ff02::2 ip6-allrouters ``` #### 用户权限管理 确保用于登录数据库的账户具有足够的权限并且密码无误。可通过 MySQL 命令行工具进入数据库管理系统后执行相应 SQL 查询语句来进行授权操作[^3]: ```sql GRANT ALL PRIVILEGES ON *.* TO 'yourusername'@'%' IDENTIFIED BY 'yourpassword'; FLUSH PRIVILEGES; ``` 以上措施有助于解决大多数情况下出现的 `ERROR 2003` 错误情况。然而，具体解决方案取决于实际环境和个人需求的不同而有所差异。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值