http: Accept error: accept unix /var/run/docker.sock: accept4: too many open files； retrying in 1s

原创已于 2025-01-20 15:53:32 修改 · 1.2k 阅读

18 ·

CC 4.0 BY-SA版权

文章标签：

#http #unix #docker

于 2024-09-08 11:48:17 首次发布

K8s 同时被 2 个专栏收录

508 篇文章

订阅专栏

Liunx

348 篇文章

订阅专栏

排查思路

这个错误信息表明 Docker 守护进程在尝试监听 Unix 套接字 /var/run/docker.sock 时遇到了问题，具体是因为系统打开的文件数量超过了限制。在 Linux 系统中，每个进程都有一个可以打开的文件描述符的限制，这个限制可以通过 /proc/sys/fs/file-max 查看，并且每个用户也有一个可以打开的文件数量的限制，这个限制可以通过 ulimit -n 命令查看。

要解决这个问题，你可以尝试以下几种方法：

临时增加文件描述符的限制：
你可以通过执行 ulimit -n <新的限制> 来临时增加当前会话的文件描述符限制。例如：
```
ulimit -n 2048
```
这会将当前会话的文件描述符限制设置为 2048。 — 如果不够，可以继续往上扩
永久增加文件描述符的限制：
编辑 /etc/security/limits.conf 文件，添加或修改以下行来永久增加限制：
```
* soft nofile 4096
* hard nofile 8192
```
这里 * 代表所有用户，soft 是软限制，hard 是硬限制，nofile 是文件描述符的数量。
检查 Docker 服务的状态：
检查 Docker 服务是否正在运行，或者是否有多个 Docker 服务实例在运行。你可以使用以下命令来检查：
```
sudo systemctl status docker
```
或者如果你使用的是 Docker Compose，确保没有多个实例在运行。
重启 Docker 服务：
有时候重启 Docker 服务可以解决这个问题：
```
sudo systemctl restart docker
```
检查是否有其他进程占用了套接字：
使用 lsof 或 netstat 命令检查是否有其他进程已经监听在 /var/run/docker.sock：
```
sudo lsof /var/run/docker.sock
```
或者
```
sudo netstat -plan | grep /var/run/docker.sock
```
如果有其他进程占用，你可能需要杀掉这些进程或者找出为什么它们会占用这个套接字。
检查 Docker 的日志：
查看 Docker 的日志可能会提供更多关于问题的线索：
```
sudo journalctl -u docker.service
```

如果上述方法都不能解决问题，可能需要进一步检查系统配置或者咨询系统管理员。

统计进程使用的fd

for pid in /proc/[0-9]*; do     if [ -d "$pid/fd" ]; then         echo "PID: $(basename $pid) - $(find $pid/fd | wc -l) open files";     fi; done | sort -rnk 4 | head

for pid in /proc/[0-9]*; do     if [ -d "$pid/fd" ]; then         echo "PID: $(basename $pid) - $(find $pid/fd | wc -l) open files";     fi; done | sort -rnk 4 > pid.txt

找到哪个进程，进程的目录

ps aux | grep PID
ls -l /proc/<PID>/fd | wc -l

使用 readlink 命令来解析这些链接

readlink -f /proc/<PID>/fd/<FD>

ls -l /proc/<PID>/fd | xargs -I {} readlink -f {}

通过socket找到进程？

在 Linux 系统中，socket:[163074791] 这样的表示通常是指一个 UNIX 套接字文件。这些套接字文件在文件系统中并不以常规文件的形式存在，而是在内存中，它们通常关联到某个特定的进程或者服务。

要找出 socket:[163074791] 对应的是哪个目录或进程，你可以使用以下方法：

查找监听套接字的进程：
如果你知道这个套接字是一个监听套接字，你可以使用 netstat 或 ss 命令来查找监听该套接字的进程。例如：
```
sudo netstat -tulpn | grep 163074791
```
或者
```
sudo ss -tulpn | grep 163074791
```
这些命令会显示所有监听套接字的进程信息，包括进程 ID（PID）。
查找所有打开文件的进程：
你可以使用 lsof 命令来查找所有打开特定文件的进程。由于套接字文件在 /proc/[pid]/fd 目录下以符号链接的形式存在，你可以这样做：
```
lsof | grep 'socket:[163074791]'
```
这个命令可能会返回多个结果，因为可能有多个进程打开了同一个套接字。
查看特定进程的文件描述符：
如果你已经知道某个进程可能使用了这个套接字，你可以查看该进程的文件描述符来确认：
```
ls -l /proc/<PID>/fd | grep 'socket:[163074791]'
```
替换 <PID> 为进程的实际 PID。
使用 readlink 命令：
对于 /proc/[pid]/fd 目录下的符号链接，你可以使用 readlink 命令来解析它们指向的实际文件或套接字：
```
readlink -f /proc/<PID>/fd/<FD>
```
替换 <PID> 为进程的实际 PID，替换 <FD> 为文件描述符的编号。

请注意，由于套接字文件是内存中的实体，它们不会像磁盘上的文件那样有一个固定的路径。它们通常由系统动态创建，并且只能在创建它们的进程或者通过特定通信机制与之交互的进程中被访问。因此，直接找到一个套接字文件对应的“目录”可能不是一个有效的概念。相反，你需要关注哪个进程或服务使用了这个套接字。

too many files

句柄？

文件句柄（File Descriptor，简称 FD）是操作系统用来管理和访问文件、设备、管道等输入输出资源的一个抽象化标识符。每当程序打开一个文件或者其他类型的资源时，操作系统会为该资源分配一个文件句柄。程序通过文件句柄来进行对资源的操作，如读取、写入或关闭。

1. 文件句柄的作用

标识文件：文件句柄本质上是一个整数，它标识了操作系统内核中打开的文件或资源。程序通过这个句柄来操作文件，而不直接操作文件名或路径。
资源管理：文件句柄不仅限于文件，也可以用于管道、网络套接字、设备等其他I/O资源。操作系统为每个打开的文件或I/O资源分配一个唯一的句柄，帮助程序在访问这些资源时与之进行交互。

2. 文件句柄的工作原理

当程序请求打开文件时，操作系统会为该文件分配一个文件句柄。文件句柄的生命周期与文件打开和关闭的生命周期相关：

打开文件：程序通过系统调用（如 open 或 fopen）打开文件，操作系统返回一个文件句柄给程序。
使用文件：程序通过文件句柄读取或写入文件。
关闭文件：文件操作完成后，程序应调用系统调用（如 close 或 fclose）来关闭文件，释放文件句柄。

3. 文件句柄的限制

操作系统会限制每个进程和系统能够同时打开的文件句柄数量，这个限制通常有两个：

软限制（Soft Limit）：进程默认的文件句柄数，可以被用户修改，但有一个最大上限。
硬限制（Hard Limit）：操作系统设置的最大文件句柄数，用户不能超过这个限制。

例如，在 Linux 系统上，每个进程默认有一个文件句柄限制，通常可以通过命令 ulimit -n 来查看或修改。

4. 文件句柄的示例

以下是一个简单的代码示例，说明如何通过文件句柄操作文件（以 C 语言为例）：

#include <stdio.h>

int main() {
    // 打开文件，返回文件句柄
    FILE *file = fopen("example.txt", "r");
    if (file == NULL) {
        printf("Failed to open file\n");
        return 1;
    }
    
    // 通过文件句柄读取文件内容
    char buffer[100];
    fgets(buffer, 100, file);
    printf("File content: %s\n", buffer);
    
    // 关闭文件，释放文件句柄
    fclose(file);
    
    return 0;
}

在上述例子中：

fopen 返回一个文件句柄（类型为 FILE *）。
通过这个文件句柄，程序可以读取文件。
fclose 关闭文件句柄，释放资源。

5. 文件句柄泄漏

文件句柄泄漏是指程序在使用文件句柄时，没有适时关闭文件，导致文件句柄无法被操作系统回收。这会造成系统可用文件句柄数量耗尽，最终导致程序无法打开新的文件或资源。

总结

文件句柄是操作系统和程序之间进行文件和资源访问时的一个重要标识符。它允许程序通过系统调用进行文件操作，并在文件操作完成后释放资源。合理管理文件句柄的数量和生命周期对于系统的稳定性和资源利用至关重要。

解决方案

“too many files” 或 “打开的文件句柄太多” 是一种错误，通常表示操作系统或应用程序尝试打开的文件数量超过了系统所允许的最大值。可以通过调整系统的文件句柄限制来解决这个问题。以下是一些在不同操作系统上调整文件句柄限制的方法：

1. Linux/Unix 系统

查看当前限制：

可以通过以下命令查看当前的文件描述符限制：

ulimit -n

临时调整限制：

使用以下命令临时增加文件描述符限制（只在当前会话有效）：

ulimit -n 65536

永久调整限制：

要永久修改文件描述符限制，需要编辑 /etc/security/limits.conf 文件。按照以下步骤操作：

编辑 /etc/security/limits.conf 文件：
```
sudo nano /etc/security/limits.conf
```
在文件末尾添加以下内容（可以根据需要修改数字）：
```
* soft nofile 65536
* hard nofile 65536
```
这将设置所有用户（*）的软限制和硬限制为 65536。
编辑 /etc/pam.d/common-session 文件，确保文件包含以下行：
```
session required pam_limits.so
```
重新启动系统或注销并重新登录以使更改生效。

调整系统级别的限制：

你还可以通过修改系统级别的限制来增加文件句柄限制。编辑 /etc/sysctl.conf 文件：

sudo nano /etc/sysctl.conf

然后，添加或修改以下行：

fs.file-max = 100000

然后运行以下命令使更改生效：

sudo sysctl -p

2. Mac OS X

查看当前限制：

使用以下命令查看当前的文件描述符限制：

ulimit -n

临时调整限制：

通过以下命令临时增加文件描述符限制：

ulimit -n 65536

永久调整限制：

要永久修改限制，可以编辑 /etc/sysctl.conf（如果该文件不存在，请手动创建）并添加以下内容：

kern.maxfiles=65536
kern.maxfilesperproc=65536

然后重启系统或运行以下命令使更改生效：

sudo sysctl -w kern.maxfiles=65536
sudo sysctl -w kern.maxfilesperproc=65536

3. Windows 系统

在 Windows 中，文件句柄限制通常受系统资源的影响，可能没有类似 Unix/Linux 系统那么直接的配置方式。你可以通过以下方法尝试：

查看句柄限制：使用工具如 Process Explorer 来查看打开的句柄数量。
修改注册表：有时可能需要通过修改注册表来增加文件句柄限制，但这并不总是有效，且需要谨慎操作。

4. 其他注意事项

应用程序配置：某些应用程序本身也可能有文件句柄的配置，检查并调整应用程序的配置文件。
检查代码：如果是自定义程序出现此错误，确保程序关闭了不再使用的文件句柄，避免文件描述符泄漏。

通过调整这些设置，通常可以解决文件句柄过多的问题。如果问题仍然存在，可能需要进一步分析应用程序和系统资源的使用情况。