MySQL数据库主库连接数被打满了，无法进行查询操作

MySQL数据库主库连接数被打满了，无法进行查询操作

监控中看到：

监控中可以看到链接数被打满了，然后我们主动扩充3k，又马上被打满了

背景：
当MySQL数据库主库连接数已满，且无法进入数据库进行任何操作时，这表明数据库已经进入了“无法接受新连接”的状态，通常是因为系统中的应用程序或数据库操作异常导致连接数爆满。这种情况可能严重影响数据库的可用性和业务的正常运行。解决这一问题的关键是通过外部手段进行干预，以恢复数据库的正常操作。

一、问题描述

当MySQL主库的连接数达到上限且无法释放时，以下问题可能会发生：

无法登录数据库：由于连接数已满，新的数据库连接请求被拒绝，导致无法使用客户端（如MySQL Workbench、Navicat等）或者命令行工具（如 mysql 命令）连接数据库进行操作。

无法查看数据库状态：即使能够连接数据库，也可能因为连接池中的连接被占满，无法进行基本的查询操作（如查看数据库状态、进程列表等）。

无法执行数据库维护任务：无法进行常规的数据库维护操作（如主从切换、查询优化、索引重建等）。

二、解决方案

针对这种情况，可以采取以下几种方法来恢复数据库的正常运行：

1. 通过系统级别干预释放数据库连接
   使用操作系统命令查看和杀死MySQL连接

由于数据库连接数已满且无法通过数据库自身进行管理，可以从操作系统层面入手。通过操作系统提供的命令查看MySQL进程并手动关闭占用连接的进程。

首先，可以使用ps命令查看所有MySQL相关的进程：

ps aux | grep mysqld

然后，找到与MySQL数据库相关的进程，并使用kill命令强制结束占用过多资源的进程：

kill -9 <pid>

这里的 是对应进程的ID，可以通过ps aux命令查到。如果系统中有多个MySQL进程，可能需要一次性关闭一些无用的进程。

使用lsof命令查看和清理文件描述符

如果连接数满了且数据库无法释放连接，可能是文件描述符也被占用，可以通过lsof命令查看哪些文件或套接字正在占用数据库：

lsof -i | grep mysql

找到相关的连接后，可以尝试关闭一些不必要的连接或文件描述符。

2. 重启MySQL服务
   如果无法通过查看进程或杀死连接来释放资源，可以尝试重启MySQL服务。虽然这种方法会中断所有当前连接，但它可以帮助恢复正常操作。

使用以下命令重启MySQL服务：

systemctl restart mysql

如果使用的是非systemd管理的服务，可以使用以下命令：

service mysql restart

在某些情况下，可能需要先停止MySQL服务再启动：

systemctl stop mysql
systemctl start mysql

注意：重启服务会导致当前数据库的所有连接中断，因此在执行此操作前务必确保可以承受短时间的数据库不可用，且已备份重要数据。

3. 通过操作系统管理MySQL连接数
   在数据库连接数达到上限之前，可以从操作系统的角度调整数据库的最大连接数。

临时调整最大连接数： 如果问题是由于数据库连接数限制导致的，您可以临时调整MySQL的最大连接数。

SET GLOBAL max_connections = <new_value>;

通过该命令，临时增加最大连接数，允许更多的连接请求进入。

调整操作系统最大文件描述符数： 如果系统的文件描述符数量不足，MySQL也可能无法创建新的连接。可以通过调整操作系统的文件描述符限制来解决该问题。查看当前最大文件描述符限制：

ulimit -n

如果需要增加该限制，可以编辑系统配置文件（例如/etc/security/limits.conf）并修改文件描述符限制：

* soft nofile 65535
* hard nofile 65535

之后，重新启动MySQL服务使新设置生效。

4. 通过应用层减少连接数占用
   优化数据库连接池：

确保应用程序使用连接池，并且合理配置连接池的最大连接数、最大空闲时间等参数。大多数数据库连接池（如HikariCP、C3P0等）支持在连接空闲时自动释放连接，避免连接池中的连接被长时间占用。
检查应用程序中是否有连接泄漏：

如果应用程序未能及时关闭数据库连接，可能会导致连接泄漏和数据库连接数爆满。可以通过审查代码，确保每次数据库操作后都能正确关闭连接，或者使用连接池提供的自动回收机制。
定期关闭不必要的连接：

如果应用程序频繁建立短时连接，可能会导致连接数飙升。建议减少不必要的连接数，采用长连接模式，避免频繁地建立和销毁连接。
5. 实施主从切换
如果问题无法解决并且服务无法恢复，可以手动进行主从切换：

检查从库的状态： 确保从库处于同步状态，并且能够接受新的连接。如果从库当前不可用，可能需要进行故障恢复。

手动切换主库： 如果需要将当前的从库提升为主库，可以通过以下步骤完成手动主从切换：

停止从库的复制进程：

STOP SLAVE;
修改从库配置，成为新的主库：
RESET SLAVE;
CHANGE MASTER TO MASTER_HOST='<new_master_host>', MASTER_USER='<replication_user>', MASTER_PASSWORD='<replication_password>';
START SLAVE;

检查从库同步情况：

确保新的主库和从库之间的同步状态正常，避免出现数据不一致的问题。

三、预防措施

为了避免类似的故障再次发生，可以采取以下预防措施：

设置合理的最大连接数： 确保数据库的最大连接数配置符合实际的业务需求，并且随着流量增长及时调整。

优化应用程序连接池： 使用连接池来管理数据库连接，并配置合理的连接池参数，避免出现连接泄漏和连接池爆满的情况。

监控数据库性能和连接数： 配置数据库监控系统，实时监控数据库的连接数、查询性能等指标，确保在连接数接近上限时能够及时采取措施。

定期进行数据库维护： 定期进行数据库优化、查询调优和连接管理检查，确保数据库始终处于最佳性能状态。

四、总结

当MySQL数据库主库连接数已满且无法释放，且无法进行主从切换时，需要通过操作系统层面的干预来解决问题。通过杀死无用连接、重启MySQL服务、调整数据库连接数等手段，可以恢复数据库的正常运行。在长期运维中，需要优化应用程序的连接管理、监控数据库性能，并做好数据库的容量规划和故障恢复预案，以确保系统的高可用性和稳定性。