select , poll , epoll I/O Multiplexing（I/O多路复用）-优快云博客

本文链接：https://blog.youkuaiyun.com/Dextrad_ihacker/article/details/52002476

本文介绍了I/O多路复用技术的基本原理及三种主要实现方式：select、poll和epoll。通过对比不同技术的特点，展示了如何利用这些方法提高服务器的吞吐能力。并提供了具体的代码实例。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

关于 I/O multiplexing：

—————-这里简单介绍一下，详细请参考UNP/ linux/UNIX系统编程手册下册

其实“I/O多路复用”这个坑爹翻译可能是这个概念在中文里面如此难理解的原因。所谓的I/O多路复用在英文中其实叫 I/O multiplexing，基本是这个意思：
这里写图片描述

I/O multiplexing 这里面的 multiplexing 指的其实是在单个线程通过记录跟踪每一个Sock(I/O流)的状态来同时管理多个I/O流. 发明它的原因，是尽量多的提高服务器的吞吐能力。

epoll和read 都是阻塞的

read 和 epoll等阻塞的内容不一样，前者阻塞在整个IO调用上，后者阻塞在等待IO事件通知（多路复用就是多个文件句柄的多个状态变更通知）
select poll epoll不管是单路还是多路，都需要有个线程在那阻塞等事件通知，通知有数据了，就调用你的回调函数；对用户程序来说，就是一个模拟的AIO。

这里写图片描述
就一个单刀多置开关，哪搞事情，就连哪。

第一套：select:

struct fd_set { __fd_mask_bits[N] };
先来几个结构体，存放要监听的读写，异常事件。

(1) fd_set read_fds;  //读
fd_set write_fds; //写

(2) FD_ZERO( &read_fds );
FD_ZERO( &write_fds );
listenfd = listen(...)

(3)
while(1) 
FD_SET(listenfd, &read_fds);
FD_SET(connfd, &read_fds);
FD_SET(connfd, &write_fds);
int select(int nfds 文件描述符总数,   fd_set *readfds 可读, fd_set *writefds 可写,  fd_set *exceptfds 异常,   struct timeval *timeout 超时时间);

if FD_ISSET(connfd, &read_fds)  //发生读事件
if FD_ISSET(connfd, &write_fds) //发生写事件

相关函数， 宏定义：        
FD_ZERO(fd_set *fdset);           //清空集合

FD_SET(int fd, fd_set *fdset);   //将一个给定的文件描述符加入集合之中

FD_CLR(int fd, fd_set *fdset);   //将一个给定的文件描述符从集合中删除

int FD_ISSET(int fd, fd_set *fdset);   // 检查集合中指定的文件描述符是否可以读写

select回射服务器：

#include <iostream>
#include<mynet.h>
using namespace std;
#define BUF_SIZE 1024
#define LISTEN_MAX 1000

int main() {
    cout << "TCP select 回射服务器!" << endl;

    int maxi, maxfd, listenfd, connfd, sockfd, num, i;
    int nready, client[FD_SETSIZE];
    ssize_t n;

    fd_set rset, allset;
    socklen_t cli_len;
    struct sockaddr_in cliaddr, servaddr;

    char buf[BUF_SIZE];

    listenfd = socket(AF_INET, SOCK_STREAM, 0);
    int resuse = 1;
    setsockopt(listenfd, SOL_SOCKET, SO_REUSEADDR, &resuse, sizeof(resuse));

    bzero(&servaddr, sizeof(servaddr));
    servaddr.sin_family = AF_INET;
    servaddr.sin_port = htons(10086);
    inet_pton(AF_INET, "127.0.0.1", &servaddr.sin_addr);

    bind(listenfd, (struct sockaddr*)&servaddr, sizeof(servaddr));
    listen(listenfd, LISTEN_MAX);

    maxfd = listenfd;
    maxi = -1;
    for(int i = 0; i < FD_SETSIZE; i++)
    {
        client[i] = -1;
    }

    FD_ZERO(&allset);
    FD_SET(listenfd, &allset);
    while(1)
    {
        rset = allset;
        printf("selecting\n");

        nready = select(maxfd+1, &rset, NULL, NULL, NULL);
        printf("%d\n",nready);
        printf("selected\n");
        if(FD_ISSET(listenfd, &rset))
        {

            cli_len = sizeof(cliaddr);
            connfd = accept(listenfd, (struct sockaddr*)&cliaddr, &cli_len);
            printf("connfd: %d", connfd);
            printf("Get new one client\n");
            for(i = 0; i < maxfd; i++) {
                if (client[i] < 0) {
                    client[i] = connfd;
                    break;
                }
            }
            FD_SET(connfd, &allset);
            if(connfd > maxfd)
                maxfd = connfd;
            if(i > maxi)
                maxi = i;
            nready --;
            if(nready <= 0)
                continue;
        }
        for(i = 0; i <= maxi; i++)
        {
            if((sockfd = client[i]) < 0)
                continue;
            if( FD_ISSET(sockfd, &rset))
            {
                n = read(sockfd, buf, sizeof(buf));
                if(n == 0)
                {
                    printf("lost a client\n");
                    close(sockfd);
                    FD_CLR(sockfd, &allset);
                    client[i] = -1;
                }
                else{
                    write(sockfd, buf, n);
                }
                nready --;
                if(nready <= 0)
                    break;
            }
        }


    }


    return 0;
}

第二套：poll

fcntl(fd, F_SETFL, O_NONBLOCK)
pollfd fds[]; //要监听的事件集合

struct pollfd {
int   fd;         /* file descriptor */
short events;     /* requested events */
short revents;    /* returned events */
};

fds[0].fd = listenfd;
fds[0].events = POLLIN | POLLERR //监听fd 只关注 读取，错误事件，，不可能有写事件
fds[0].revents = 0;

while(1)
{
    ret = poll(fds, user_counter+1, -1)
//int poll(struct pollfd *fds, nfds_t nfds, int timeout);


for(0 -- user_counter)
{
    if(fds[i].fd == listenfd  && fds[i].revents & POLLIN)
{
/*
*/
    if   fds[i].revents & POLLIN   //读事件            
    if   fds[i].revents & POLLOUT  //写事件
}

poll 回射服务器：

/*************************************************************************
        > File Name: server.cpp
      > Author: dulun
      > Mail: dulun@xiyoulinux.org
      > Created Time: 2016年07月19日 星期二 11时26分40秒
 ************************************************************************/

#include<iostream>
#include<stdio.h>
#include<string.h>
#include<stdlib.h>
#include<algorithm>
#include<sys/socket.h>
#include<sys/types.h>
#include<netinet/in.h>
#include<arpa/inet.h>
#include<assert.h>
#include<fcntl.h>
#include<poll.h>
#include<errno.h>
#include<unistd.h>
using namespace std;

#define USER_LIMIT 100
#define BUFFER_SIZE 64
#define FD_LIMIT 65535

struct client_data
{
    sockaddr_in address;
    char * write_buff;
    char buf[BUFFER_SIZE];
};

int setnonblocking( int fd )
{
    int old_option = fcntl( fd, F_GETFL );
    int new_option = old_option | O_NONBLOCK;
    fcntl( fd, F_SETFL, new_option );
    return old_option;
}

int main()
{
    const char *ip = "127.0.0.1";
    int port = 10086;
    struct sockaddr_in address;
    bzero(&address, sizeof(address));
    address.sin_family = AF_INET;
    inet_pton(AF_INET, ip, &address.sin_addr);
    address.sin_port = htons(port);

    int listenfd = socket(PF_INET, SOCK_STREAM, 0);
    int resuse = 1;
    setsockopt(listenfd, SOL_SOCKET, SO_REUSEADDR, &resuse, sizeof(resuse));
    assert(listenfd >= 0);

    int ret;
    ret = bind(listenfd, (struct sockaddr*)&address, sizeof(address)); //命名套接字。
    assert(ret != -1);

    ret = listen(listenfd, USER_LIMIT);  //监听
    assert(ret != -1);


    client_data * users = new client_data[FD_LIMIT];

    pollfd fds[USER_LIMIT+1];
    int user_counter = 0;
    for(int i = 1; i <= USER_LIMIT; i++)
    {
        fds[i].fd = -1;
        fds[i].events = 0;
    }

    //初始化第一个
    fds[0].fd = listenfd;
    fds[0].events = POLLIN | POLLERR;
    fds[0].revents = 0;

    while(1)
    {
        ret = poll( fds, user_counter+1, -1 );
        if(ret < 0)
        {
            printf("POLL failed\n");
            break;
        }

        for(int i = 0; i < user_counter+1; i++)
        {
            if((fds[i].fd == listenfd) && (fds[i].revents & POLLIN) )
            {
                struct sockaddr_in client_address;
                socklen_t client_addrlength = sizeof(client_data);
                int connfd = accept(listenfd, (struct sockaddr*)&client_address, &client_addrlength);
                printf("accept\n");
                if(connfd < 0)
                {
                    printf("errno is : %d \n", errno);
                    continue;
                }
                if(user_counter >= USER_LIMIT)
                {
                    const char * info = "too many users\n";
                    printf("%s", info);
                    send(connfd, info, strlen(info), 0);
                    close(connfd);
                    continue;
                }
                user_counter++;
                users[connfd].address = client_address;
                setnonblocking(connfd);
                fds[user_counter].fd = connfd;
                fds[user_counter].events = POLLIN | POLLERR;
                fds[user_counter].revents = 0;
                printf("comes a new user, now have %d users\n", user_counter);
            }
            else if(fds[i].revents & POLLERR) //ERROR  ， fds[i].revent & POLLERR 为真，表示，发生错误,下同
            {
                printf("get an error form %d\n", fds[i].fd);
                char errors[100];
                memset(errors, 0, sizeof(errors));
                socklen_t length = sizeof(errors);
                if( getsockopt(fds[i].fd, SOL_SOCKET, SO_ERROR, &errors, &length) < 0)
                {
                    printf("get socket option failed\n");
                }
                continue;
            }
            else if(fds[i].revents & POLLRDHUP)
            {
                //users[fds[i].fd] = users[fds[user_counter].fd];
                close(fds[i].fd);
                //fds[i] = fds[]
                printf("a client left\n");
                sleep(1);
            }
            else if(fds[i].revents & POLLIN)
            {
                int connfd = fds[i].fd;
                memset(users[connfd].buf, 0, BUFFER_SIZE);
                ret = recv(connfd, users[connfd].buf, BUFFER_SIZE-1, 0);
                send(connfd, users[connfd].buf, BUFFER_SIZE-1, 0);
                if(ret == 0)
                {
                    close(connfd);
                    printf("one client left\n");
                    user_counter--;
                    i--;
                    continue;
                }
                printf("get %d bytes of client data %s from %d \n", ret, users[connfd].buf, connfd);
                //sleep(10000); //test!
                if(ret < 0)
                {
                    if(errno != EAGAIN)
                    {
                        close(connfd);
                        users[fds[i].fd] = users[fds[user_counter].fd];
                        fds[i] = fds[user_counter];
                        i--;
                        user_counter--;
                    }
                }
                else if( ret == 0 )
                {
                }
                else{
                    for(int j = 1; j <= user_counter; j++)
                    {
                        if(fds[j].fd == connfd) //不等于自己，不给自己设置读写事件
                        {
                            continue;
                        }
                        //fds[j].events |= ~POLLIN; //取消读事件
                        fds[j].events |= POLLOUT; //设置写事件，下次while循环，直接进下一个else if
                        users[fds[j].fd].write_buff = users[connfd].buf;
                    }
                }
            }
            else if(fds[i].revents & POLLOUT) //监听到写事件（次数：user_counter-1）
            {
                int connfd = fds[i].fd;
                if( !users[connfd].write_buff )
                {
                    continue;
                }
                ret = send(connfd, users[connfd].write_buff, strlen(users[connfd].write_buff)-1, 0); //往过发
                users[connfd].write_buff = NULL; //清缓存
               // fds[i].events |= ~POLLOUT; //取消写时间
               // fds[i].events |= POLLIN;   //设置读事件
            }
        }
    }
    delete []users;
    close(listenfd);

    return 0;
}

poll零拷贝客户端：
（splice + pipe 重定向标准输入到套接字描述符

/*************************************************************************
        > File Name: client.c
      > Author: dulun
      > Mail: dulun@xiyoulinux.org
      > Created Time: 2016年07月19日 星期二 11时01分09秒
 ************************************************************************/

#include<stdio.h>
#include<string.h>
#include<stdlib.h>
#include<unistd.h>
#include<netinet/in.h>
#include<arpa/inet.h>
#include<sys/types.h>
#include<sys/socket.h>
#include<poll.h>
#include<fcntl.h>
#include<assert.h>
#define BUFFER_SIZE 64

int main()
{
   // const char * ip = "115.159.53.185";
    const char * ip = "127.0.0.1";
    //int port = 6550;
    int port = 10086;

    struct sockaddr_in server_address;
    bzero( &server_address, sizeof(server_address) );
    server_address.sin_family = AF_INET;
    inet_pton( AF_INET, ip, &server_address.sin_addr );
    server_address.sin_port = htons(port);

    int sockfd = socket( PF_INET, SOCK_STREAM, 0 );
    assert(sockfd >= 0);

    if( connect(sockfd, (struct sockaddr*)&server_address, sizeof(server_address)) < 0 )
    {
        printf("connetcion failed\n");
        close(sockfd);
        return 1;
    }
    printf("connetc over!\n");

    pollfd fds[2];  //0：标准输入
    fds[0].fd = 0;
    fds[0].events = POLLIN; //可读事件
    fds[0].revents = 0;     //内核处理

    //1：套接字描述符
    fds[1].fd = sockfd;
    fds[1].events = POLLIN | POLLRDHUP; //可读或对方中断
    fds[1].revents = 0;

    char read_buf[BUFFER_SIZE]; //读缓存, 用于接收
    int pipefd[2];
    int ret = pipe(pipefd);
    assert(ret != -1);

    while(1)
    {
        ret = poll(fds, 2, -1);  //阻塞，监听两个感兴趣的fd
        if(ret < 0)
        {
            printf("poll failed\n");
            break;
        }

        if(fds[1].revents & POLLRDHUP)
        {
            printf("server close the connetcion\n");
            break;
        }
        else if( fds[1].revents & POLLIN )
        {
            memset( read_buf, 0, BUFFER_SIZE );
            recv(fds[1].fd, read_buf, BUFFER_SIZE - 1, 0);
            printf("%s\n", read_buf);
        }

        if(fds[0].revents & POLLIN)
        {
            //标准输入输出 通过管道 。去sockfd
            //从标准输入读 ，进管道， 大小32768 更多或文件直接走内核缓冲区
            ret = splice( 0, NULL, pipefd[1], NULL, 32768 , SPLICE_F_MORE | SPLICE_F_MOVE);  //  pipefd[0] 读
            //从管道读， 进套接字描述符， 大小32768 更多或文件直接走内核缓冲区
            ret = splice( pipefd[0], NULL, sockfd, NULL, 32768 , SPLICE_F_MORE | SPLICE_F_MOVE); //写
        }
    }
    close(sockfd);
    return 0;
}

第三套 epoll:

传统的select/poll另一个致命弱点就是当你拥有一个很大的socket集合，不过由于网络延时，任一时间只有部分的socket是”活跃”的，但是select/poll每次调用都会线性扫描全部的集合，导致效率呈现线性下降 o(n)
但是epoll不存在这个问题，它只会对”活跃”的socket进行操作—这是因为在内核实现中epoll是根据每个fd上面的callback函数实现的。那么，只有”活跃”的socket才会主动的去调用 callback函数，其他idle状态socket则不会，在这点上，epoll实现了一个”伪”AIO，因为这时候推动力在os内核。在一些 benchmark中，如果所有的socket基本上都是活跃的—比如一个高速LAN环境，epoll并不比select/poll有什么效率，相反，如果过多使用epoll_ctl,效率相比还有稍微的下降。但是一旦使用idle connections模拟WAN环境,epoll的效率就远在select/poll之上了。

要使用epoll只需要这三个系统调用：epoll_create(2)， epoll_ctl(2)， epoll_wait(2)。

epoll_create(2) creates an epoll instance and returns a file descriptor referring to that instance.
(The more recent epoll_create1(2) extends the functionality of epoll_create(2).)
//epoll_creat(系统调用) 创建一个epoll事件，并且返回一个文件描述符指向那个事件
Interest in particular file descriptors is then registered via epoll_ctl(2). The set of file descriptors currently registered on an epoll instance is sometimes called an epoll set.
//（对某些特定的有兴趣的文件描述符，通过epoll_ctl(系统调用)进行注册），文件描述符集合一般注册在一个epoll 例子，称为 epoll set
epoll_wait(2) waits for I/O events, blocking the calling thread if no events are currently available.
//eppll_wait(系统调用)等待I/O事件，如果当前没有事件发生，阻塞于调用的线程，

结构体：
epoll_event events[]

epollfd = epoll_create(0) //返回指向内核中文件描述符

epoll_ctl(epollfd, EPOLL_CTL_ADD, fd, &event); //加入一个描述符到内核监听队列

基本使用逻辑

(a) 使用epoll_create()函数创建文件描述，设定将可管理的最大socket描述符数目。
(b) 创建与epoll关联的接收线程，应用程序可以创建多个接收线程来处理epoll上的读通知事件，线程的数量依赖于程序的具体需要。
(c) 创建一个侦听socket描述符ListenSock；将该描述符设定为非阻塞模式，调用Listen（）函数在套接字上侦听有无新的连接请求，
在 epoll_event结构中设置要处理的事件类型EPOLLIN，工作方式为 epoll_ET，以提高工作效率，同时使用epoll_ctl()注册事件，最后启动网络监视线程。
(d) 网络监视线程启动循环，epoll_wait()等待epoll事件发生。
(e) 如果epoll事件表明有新的连接请求，则调用accept（）函数，将用户socket描述符添加到epoll_data联合体，同时设定该描述符为非阻塞，并在epoll_event结构中设置要处理的事件类型为读和写，工作方式为epoll_ET.
(f) 如果epoll事件表明socket描述符上有数据可读，则将该socket描述符加入可读队列，通知接收线程读入数据，并将接收到的数据放入到接收数据的链表中，经逻辑处理后，将反馈的数据包放入到发送数据链表中，等待由发送线程发送。

epoll 回射服务器：

/*************************************************************************
        > File Name: server2.cpp
      > Author: dulun
      > Mail: dulun@xiyoulinux.org
      > Created Time: 2016年07月20日 星期三 09时12分28秒
 ************************************************************************/

#include<iostream>
#include<stdio.h>
#include<string.h>
#include<stdlib.h>
#include<algorithm>
#include<sys/socket.h>
#include<sys/types.h>
#include<netinet/in.h>
#include<arpa/inet.h>
#include<assert.h>
#include<errno.h>
#include<unistd.h>
#include<fcntl.h>
#include<sys/epoll.h>
#include<pthread.h>

#define MAX_EVENT_NUMBER 1024
#define TCP_BUFFER_SIZE 512
#define UDP_BUFFER_SIZE 1024

int setnonblocking(int fd)
{
    int old_opt = fcntl(fd, F_GETFL);
    int new_opt = old_opt | O_NONBLOCK;
    fcntl(fd, F_SETFL, new_opt);
    return old_opt;

}

void addfd(int epollfd, int fd)
{
    epoll_event event;
    event.data.fd = fd;
    event.events = EPOLLIN | EPOLLET;
    epoll_ctl(epollfd, EPOLL_CTL_ADD, fd, &event);
    setnonblocking(fd);
}

int main()
{
    const char * ip = "127.0.0.1";
    int port = 10086;
    int ret = 0;
    struct sockaddr_in address;
    address.sin_family = AF_INET;
    inet_pton(AF_INET, ip, &address.sin_addr);
    address.sin_port = htons(port);
    int listenfd = socket(PF_INET, SOCK_STREAM, 0);
    assert(listenfd >= 0);

    int resuse = 1;
    setsockopt(listenfd, SOL_SOCKET, SO_REUSEADDR, &resuse, sizeof(resuse));


    ret = bind(listenfd, (struct sockaddr*)&address, sizeof(address));
    assert(ret != -1);
    ret = listen(listenfd, 5);
    assert(ret != -1);

    bzero(&address, sizeof(address));
    address.sin_family = AF_INET;
    inet_pton(AF_INET, ip, &address.sin_addr);
    address.sin_port = htons(port);
    int udpfd = socket(PF_INET, SOCK_DGRAM, 0);
    assert(udpfd >= 0);

    ret = bind(udpfd, (struct sockaddr *)&address, sizeof(address));
    epoll_event events[MAX_EVENT_NUMBER];
    int epollfd = epoll_create(5);

    addfd(epollfd, listenfd);
    addfd(epollfd, udpfd);


    while(1)
    {
        int number = epoll_wait(epollfd, events, MAX_EVENT_NUMBER, -1);
        if(number < 0)
        {
            printf("epoll failed");
            break;
        }
        for(int i = 0; i < number; i++)
        {
            int sockfd = events[i].data.fd;
            if(sockfd == listenfd)
            {
                struct sockaddr_in client_address;
                socklen_t client_addrelength = sizeof(client_address);
                int connfd = accept(listenfd, (struct sockaddr*)&client_address, &client_addrelength);
                addfd(epollfd, connfd);
            }
            else if(sockfd == udpfd)
            {
                char buf[UDP_BUFFER_SIZE];
                memset(buf, 0, sizeof(buf));
                struct sockaddr_in client_address;
                socklen_t client_addresslength = sizeof(client_address);
                ret = recvfrom(udpfd, buf, UDP_BUFFER_SIZE-1, 0, (struct sockaddr*)&client_address, &client_addresslength);
                if(ret > 0) {
                    sendto(udpfd, buf, UDP_BUFFER_SIZE - 1, 0, (struct sockaddr *) &client_address, client_addresslength);
                }
            }
            else if(events[i].events & EPOLLIN)
            {
                char buf[TCP_BUFFER_SIZE];
                while(1)
                {
                    memset(buf, 0, sizeof(buf));
                    ret = recv(sockfd, buf, TCP_BUFFER_SIZE - 1, 0);
                    if(ret < 0)
                    {
                        if(errno == EAGAIN || errno == EWOULDBLOCK)
                        {
                            break;
                        }
                        close(sockfd);
                        break;
                    }
                    else if(ret == 0)
                    {
                        close(sockfd);
                    }
                    else
                    {
                        send(sockfd, buf, ret, 0);//回射
                    }
                }
            }
            else{
                printf("somethin else happened \n");
            }
        }
    }
    close(listenfd);


    return 0;
}