Unix下文件描述符与Squid

最新推荐文章于 2022-03-12 21:04:20 发布

转载最新推荐文章于 2022-03-12 21:04:20 发布 · 1.5k 阅读

文章标签：

48 篇文章

订阅专栏

本文介绍了Squid缓存代理服务器中文件描述符的重要性，并提供了在不同Unix系统如FreeBSD、Linux和Solaris上调整文件描述符限制的方法，以确保Squid能够高效地处理大量并发连接。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

文件描述符是一个简单的整数，用以标明每一个被进程所打开的文件和socket。第一个打开的文件是0，第二个是1，依此类推。Unix操作系统通常给每个进程能打开的文件数量强加一个限制。更甚的是，unix通常有一个系统级的限制。

因为squid的工作方式，文件描述符的限制可能会极大的影响性能。当squid用完所有的文件描述符后，它不能接收用户新的连接。也就是说，用完文件描述符导致拒绝服务。直到一部分当前请求完成，相应的文件和socket被关闭，squid不能接收新请求。当squid发现文件描述符短缺时，它会发布警告。

在运行./configure之前，检查你的系统的文件描述符限制是否合适，能给你避免一些麻烦。大多数情况下，1024个文件描述符足够了。非常忙的cache可能需要4096或更多。在配置文件描述符限制时，我推荐设置系统级限制的数量为每个进程限制的2倍。

通常在你的Unix shell中能找到系统的文件描述符限制。所有的C shell及其类似的shell有内建的limit命令。更新的Bourne shell及其类似的shell有一条叫做ulimit的命令。为了发现你的系统的文件描述符限制，试运行如下命令：

csh% limit descriptors unlimited
        
csh% limit descriptors
        
descriptors    4096

或者

sh$ ulimit -n unlimited

sh$ ulimit -n

4096

在Freebsd上，你能使用sysctl命令：

% sysctl -a | grep maxfiles

kern.maxfiles: 8192

kern.maxfilesperproc: 4096

如果你不能确认文件描述符限制，squid的./configure脚本能替你做到。当你运行./configure时，请见3.4章节，观察末尾这样的输出：

checking Maximum number of file descriptors we can open... 4096

假如其他的limit,ulimit,或者./configure报告这个值少于1024，你不得不在编译squid之前，花费时间来增加这个限制值的大小。否则，squid在高负载时执行性能将很低。

增加文件描述符限制的方法因系统不同而不同。下面的章节提供一些方法帮助你开始。

编辑你的内核配置文件，增加如下一行：

options       MAXFILES=8192

在OpenBSD上，使用option代替options。然后，configure，编译，和安装新内核。最后重启系统以使内核生效。

在Linux上配置文件描述符有点复杂。在编译squid之前，你必须编辑系统include文件中的一个，然后执行一些shell命令。请首先编辑/usr/include/bits/types.h文件，改变_ _FD_SETSIZE 的值：

#define _ _FD_SETSIZE    8192

下一步，使用这个命令增加内核文件描述符的限制：

# echo 8192 > /proc/sys/fs/file-max

最后，增加进程文件描述符的限制，在你即将编译squid的同一个shell里执行：

sh# ulimit -Hn 8192

该命令必须以root运行，仅仅运行在bash shell。不必重启机器。使用这个技术，你必须在每一次系统启动后执行上述echo和ulimit命令，或者至少在squid启动之前。假如你使用某个rc.d脚本来启动squid，那是一个放置这些命令的好地方。

增加该行到你的/etc/system文件：

set rlim_fd_max = 4096

然后，重启机器以使改动生效。