libevent的select backend的fd_set分配分析

最新推荐文章于 2024-04-20 19:50:19 发布

无敌大饺子

最新推荐文章于 2024-04-20 19:50:19 发布

阅读量1.1k

点赞数

CC 4.0 BY-SA版权

分类专栏：网络编程

本文链接：https://blog.youkuaiyun.com/zxjcarrot/article/details/29366821

网络编程专栏收录该内容

4 篇文章

订阅专栏

本文介绍了一种利用动态内存分配技巧使select函数能够监听超过默认限制（如1024）的文件描述符数量的方法。通过libevent库的具体实现案例，展示了如何通过动态调整fd_set大小以支持更大范围的描述符监听。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一直以为fd_set只能监听FD_SETSIZE个描述符,想要监听更多的描述符必须修改FD_SETSIZE这个宏,并重新编译内核.

fd_set的源码大概是这样的:

#define __FD_SETSIZE	1024

typedef struct {
	unsigned long fds_bits[__FD_SETSIZE / (8 * sizeof(long))];
} __kernel_fd_set;
typedef __kernel_fd_set fd_set;</span>

因为fd_set结构里面实际上就是一个静态的数组,每个整数都是32位,所以只能监听有限的32*32=1024个描述符.

在阅读源码的过程中,发现libevent通过动态内存分配的方式来欺骗select函数,来实现监听更多的描述符.

具体做法是:首先init函数里先给指针分配一小块内存,然后每次添加事件的时候按需动态增大这个内存.

首先看一下它用的一个结构:

struct selectop {
	int event_fds;		/*需要监听的描述符最大值,用于select的第一个参数*/
	int event_fdsz;/*可以用的描述符最大值 */
	int resize_out_sets;
	fd_set *event_readset_in;/*监听读事件的fd_set */
	fd_set *event_writeset_in;/*监听写事件的fd_set*/
	fd_set *event_readset_out;
	fd_set *event_writeset_out;
};

这是select函数用到的一些数据,这里fd_set用的是指针而不是普通的结构体,就是为了根据描述符值来动态地分配fd_set的内存.

初始化和添加事件的代码:

#ifndef NFDBITS
#define NFDBITS (sizeof(fd_mask)*8)
#endif

/* Divide positive x by y, rounding up. */
#define DIV_ROUNDUP(x, y)   (((x)+((y)-1))/(y))

/* How many bytes to allocate for N fds? */
#define SELECT_ALLOC_SIZE(n) \
	(DIV_ROUNDUP(n, NFDBITS) * sizeof(fd_mask))

static void *
select_init(struct event_base *base)
{
	struct selectop *sop;

	if (!(sop = mm_calloc(1, sizeof(struct selectop))))
		return (NULL);

	if (select_resize(sop, SELECT_ALLOC_SIZE(32 + 1))) {/* 初始化时候先分配一小块内存 */
		select_free_selectop(sop);
		return (NULL);
	}

	evsig_init(base);

	return (sop);
}

static int
select_add(struct event_base *base, int fd, short old, short events, void *p)
{
	struct selectop *sop = base->evbase;
	(void) p;

	EVUTIL_ASSERT((events & EV_SIGNAL) == 0);
	check_selectop(sop);
	/*
	 * Keep track of the highest fd, so that we can calculate the size
	 * of the fd_sets for select(2)
	 */
	if (sop->event_fds < fd) {/*这里添加的事件的描述符比可用的描述符值大,所以需要重新分配内存了 */
		int fdsz = sop->event_fdsz;

		if (fdsz < (int)sizeof(fd_mask))
			fdsz = (int)sizeof(fd_mask);

		/* In theory we should worry about overflow here.  In
		 * reality, though, the highest fd on a unixy system will
		 * not overflow here. XXXX */
		while (fdsz < (int) SELECT_ALLOC_SIZE(fd + 1))/*这里将可用的描述符值以二的倍数来增加直到能够包含添加的事件描述符的值*/
			fdsz *= 2;

		if (fdsz != sop->event_fdsz) {
			if (select_resize(sop, fdsz)) {/*进行重新分配内存*/
				check_selectop(sop);
				return (-1);
			}
		}

		sop->event_fds = fd;
	}

	if (events & EV_READ)
		FD_SET(fd, sop->event_readset_in);
	if (events & EV_WRITE)
		FD_SET(fd, sop->event_writeset_in);
	check_selectop(sop);

	return (0);
}