solaris 开发记录系列三--Too many open files

最新推荐文章于 2020-11-19 10:42:19 发布

原创最新推荐文章于 2020-11-19 10:42:19 发布 · 352 阅读

0 ·

CC 4.0 BY-SA版权

本文详细介绍了如何在Solaris操作系统中解决32位程序因文件描述符数量限制导致的问题，包括理解问题原因、解决方法及注意事项。通过设置系统参数和预加载扩展文件设施，可以有效提升程序处理文件的能力。

将程序从win 32平台迁移到solaris平台，编译完成后运行，结果出现一堆：

gtk: …..pango…. Too many open files

碰到此提示，第一反应就是gtk中的pango有问题，于是查了N久，终于发现，此提示是在用fopen时才会出现。当时是没有想到系统函数会有问题的，百思不得其解，只好先放下这个问题，去解决其它问题，有时间时偶尔处理这个问题一下。

其间河曲智叟曾百度出 % ulimit -n 65536，兴高采烈的说，这个问题已经解决了：（，真这么简单，上一个问题的时候已经顺便一起解决了。

不管他，在偶然一次搜索中发现：
在Solaris操作系统中解决32位stdio只支持256个文件描述符的限制
这个问题和我遇到的问题何其相似乃尔，仔细看了一下此文，一下子找到了黑夜中指路的明灯：
“过去，运行于 Solaris 操作系统上的 32 位应用程序只能通过 C 库中的标准 I/O 使用最多 255 个文件描述符。Solaris 10 及更高版本操作系统中的 FILE 扩展工具允许行为良好的 32 位应用程序通过标准的 I/O 功能使用任何有效的文件描述符。”
再看定义：

struct __FILE_TAG       
{
    #ifdef _STDIO_REVERSE
          unsigned char   *_ptr;
          int             _cnt;   
    #else
          int             _cnt;  
          unsigned char   *_ptr;  
    #endif
    unsigned char   *_base;
    unsigned char   _flag;
    unsigned char   _file;  
    /* UNIX System file descriptor */
    unsigned        __orientation:2; 
    unsigned        __ionolock:1;   
    unsigned        __seekable:1;
    unsigned        __filler:4;
};

只有一个char，最大值显然只有255，所以使用fopen打开过多的文件就会溢出。

以下示例显示了启用或未启用扩展的 FILE 工具的简单 32 位进程的行为。用于测试的是一个简单的 C 程序，尝试使用 fopen() 接口打开 65,536 个文件。

% cat fopentestcase.c
#include 
#include 
#define NoOfFILES 65536
int main()
{
    char filename[10];
    FILE *fds[NoOfFILES];
    int i;
    for (i = 0; i < NoOfFILES  i ++）{
        sprintf (filename, "/tmp/%d.log", i);
        fds[i] = fopen(filename, "w");
        if (fds[i] == NULL)
        {
            printf("\nNumber of open files = %d. " \
            "fopen() failed with error:  ", i);
            perror("");
            exit(1);
        }
        else
        {
            fprintf (fds[i], "some string");
        }
    }
    return (0);
}

果然，运行的时候错误再现

% cc -o fopentestcase fopentestcase.c
% ulimit -a | grep descriptors
nofiles(descriptors) 256
% ./fopentestcase
Number of open files = 253. fopen() failed with error: 
Too many open files

问题找到，怎么解决呢？SUN已经有方案了：

The default hard limit for the number of files a process can have opened at any time is 65,536. You can tune this limit with the system-tunable parameter rlim_fd_max. Although a very large number of files can be opened by tuning the rlim_fd_max parameter, virtual memory space becomes the limit for 32-bit processes when hundreds of thousands of files are open. When the process reaches the limits of virtual memory, stdio calls fail with a Not enough space error.
Before running the 32-bit application, enable the extended FILE facility by taking the following two actions:
Raise the maximum number of file descriptors in a shell.
Preload the extended FILE facility, /usr/lib/extendedFILE.so.1.
Note that extendedFILE.so.1 is not a library but an enabler of the extended FILE facility.

有两个办法，看了看，方法一需要改动代码，不可行，方法2简单方便，又不影响其它程序
LD_PRELOAD_32=/usr/lib/extendedFILE.so.1 application
即可。
唯一的影响就是对性能有一点影响，但是肯定影响有限，如果不是大量进行IO操作，可以忽略不计。

解决了迁移问题中的最后一座大山，自此迁移之路上无陇断焉。