io select poll epoll 理解

最新推荐文章于 2021-03-11 20:51:26 发布
原创 最新推荐文章于 2021-03-11 20:51:26 发布 · 301 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#io #select #poll #epoll

本文详细介绍了计算机网络中的I/O模式，包括阻塞、非阻塞、IO多路复用等，并重点分析了Epoll的工作原理及其内部实现机制。通过对比select和poll，阐述了Epoll的优势和适用场景。




io 模式
read 操作发生时
1, 等待数据准备
2, 将数据冲内核拷贝到进程 
->由此产生的五种网络模式
1, 阻塞______
|___.同上
2, 非阻塞____
|___.用户进程需要不断的主动询问kernel数据好了没有。[ 有返回数据,没有返回error ,继续轮询 read ]
3, io多路复用
|___.select poll epoll会轮询所负责的所有socket,当某个socket数据到达了,就通知用户进程
4, 信号驱动io  (实际中不常用)
  5, 异步______
  |___.从kernel的角度，当它受到一个asynchronous read之后，首先它会立刻返回，所以不会对用户进程产生任何block。然后，
  |___.kernel会等待数据准备完成，然后将数据拷贝到用户内存，当这一切都完成之后，kernel会给用户进程发送一个signal，告诉它read操作完成了。








select poll epoll
select  
1024的限制 r + w + e 事件
poll
event 将要发生的事件 + revent 发生的事件 
epoll
____________________________________________________________________________________________________________________________________
mmap + rdr (red black root) + rdlist [ 文件fd状态改变,存储fd 对应的 epitem ]
epoll wait的工作流程：
(1) epoll_wait调用ep_poll，当rdlist为空（无就绪fd）时挂起当前进程，知道rdlist不空时进程才被唤醒。
(2) 文件fd状态改变（buffer由不可读变为可读或由不可写变为可写），导致相应fd上的回调函数ep_poll_callback()被调用。
(3) ep_poll_callback将相应fd对应epitem加入rdlist，导致rdlist不空，进程被唤醒，epoll_wait得以继续执行。
(4) ep_events_transfer函数将rdlist中的epitem拷贝到txlist中，并将rdlist清空。
(5) ep_send_events函数（很关键），它扫描txlist中的每个epitem，调用其关联fd对应的poll方法（图中蓝线）。
此时对poll的调用仅仅是取得fd上较新的events（防止之前events被更新），之后将取得的events和相应的fd发送到用户空间（封装在struct epoll_event，从epoll_wait返回）。
之后如果这个epitem对应的fd是LT模式监听且取得的events是用户所关心的，则将其重新加入回rdlist（图中蓝线），否则（ET模式）不在加入rdlist。
http://blog.chinaunix.net/uid-28541347-id-4273856.html
____________________________________________________________________________________________________________________________________
操作方法
EPOLL_CTL_ADD //新增
EPOLL_CTL_MOD //修改
EPOLL_CTL_DEL //删除
事件
EPOLLIN 表示对应的文件描述符可以读
EPOLLOUT 可以写
EPOLLPRI 有紧急的事件可以读
EPOLLERR 对应的文件描述符发生错误
EPOLLHUP 对应的文件描述符挂断
EPOLLET 将EPOLL 设置成边缘模式
EPOLLONESHOT 只监听一次,完后需要把socket再次加到EPOLL队列 
使用注意:
epoll并不是在所有的应用场景都会比select和poll高很多。
尤其是当活动连接比较多的时候，回调函数被触发得过于频繁的时候，epoll的效率也会受到显著影响！
所以，epoll特别适用于连接数量多，但活动连接较少的情况。




参考 
[ 初始参考 ] https://blog.youkuaiyun.com/u013679744/article/details/79188768
    [ 同步/异步 ] https://blog.youkuaiyun.com/scucscheng/article/details/51940552
[ 代码验证 ] https://www.cnblogs.com/lojunren/p/3856290.html
[ 深入内核 ] http://blog.chinaunix.net/uid-28541347-id-4273856.html
IO多路转接——select，poll，epoll
流楚丶格念的博客
10-29 4781
文章目录一、IO操作方式阻塞等待非阻塞, 忙轮询解决方案:第一种: select/pollselect服务器代码客户端代码第二种: epollepoll代码2. 什么是I/O多路转接技术： 一、IO操作方式 阻塞等待 好处：不占用CPU宝贵时间 缺点：同一时间只能处理一个操作，效率低 非阻塞, 忙轮询 优点: 提高了程序的执行效率 缺点: 需要占用更多的cpu和系统资源 一个任务 多个任务 解决方案: 使用IO多路转接技术 select/poll/epoll 第一种: select/poll
高级IO：五种高阶IO模型、多路转接(select、poll、epoll)
HanMeng的博客
08-16 1495
文章目录：前言1.五种高阶IO模型1.1 阻塞IO1.2 非阻塞IO1.3 信号驱动IO1.4 多路转接IO(可监控多个文件描述符)1.5 异步IO2.多路转接技术(select、poll、epoll)2.1 select2.1.1 函数原型及参数解释2.1.2 fd_set解释2.1.3 返回值2.2 selset代码验证2.2.1 select简单验证 前言 任何IO操作都需要经过 等待 和 拷贝数据 这两个过程，而这两个过程是在内核当中的过程 1.五种高阶IO模型 1.1 阻塞IO 在内核将数据准
Linux IO模式及 select、poll、epoll详解
董广明的博客
04-15 232
注：本文是对众多博客的学习和总结，可能存在理解错误。请带着怀疑的眼光，同时如果有错误希望能指出。 同步IO和异步IO，阻塞IO和非阻塞IO分别是什么，到底有什么区别？不同的人在不同的上下文下给出的答案是不同的。所以先限定一下本文的上下文。 本文讨论的背景是Linux环境下的network IO。 一 概念说明 在进行解释之前，首先要说明几个概念： - 用户空间和内核空间 - 进程切...
IO复用： select 和poll 到epoll
weixin_30644369的博客
09-10 145
linux 提供了select、poll和epoll三种接口来实现多路IO复用。下面总结下这三种接口。 select 该函数允许进程指示内核等待多个事件中的任何一个发生，并只在有一个或多个事件发生或经历一段指定的时间后才唤醒它。 函数接口： 1: #include <sys/select.h> 2: #include <sys...
IO多路复用的三种机制Select，Poll，Epoll
Linux知识积累
07-31 500
I/O多路复用（multiplexing）的本质是通过一种机制（系统内核缓冲I/O数据），让单个进程可以监视多个文件描述符，一旦某个描述符就绪（一般是读就绪或写就绪），能...
网络IO select epoll
秦涧泉的博客
04-22 214
int iResult = recv(s, buffer,1024); /*设置非阻塞模式，立即返回*/ int iResult = ioctlsocket(s, FIOBIO, (unsigned long *)&ul); iResult = recv(s, buffer,1024); //5种io...
IO复用之select poll epoll的总结(推荐)
09-15
在Linux系统中，有三种主要的IO复用机制：select、poll和epoll。它们都是同步I/O模型，意味着调用这些函数时，进程可能会被阻塞，直到有文件描述符准备好进行I/O操作。 1. **select** `select`函数用于监控文件...
精选资源
LinuxIO模式及select、poll、epoll详解
02-01
看到这篇文章说明你已经从老版本升级到 Ubuntu16.04或进行了全新安装，在安装好Ubuntu...同步IO和异步IO，阻塞IO和非阻塞IO分别是什么，到底有什么区别？不同的人在不同的上下文下给出的答案是不同的。所以先限定一下本
精选资源
select poll epoll 代码实例
05-14
select poll epoll 代码实例
高性能网络设计-网络编程（网络io与select、poll、epoll，react）.zip
03-16
高性能网络设计-网络编程（网络io与select、poll、epoll，reactor原理与实现、http服务器实现、websocket协议与服务器实现）与网络原理（服务器百万并发，网络协议栈，UDP可靠传输协议QUIC），协程框架NtyCo的实现....
IO复用之select poll epoll的总结
JANESTAR的专栏
05-07 4316
I/O复用使得程序能够同时监听多个文件描述符，对于提高程序性能至关重要。I/O复用不仅仅在网络程序中使用，但是我接触到的例子中，TCP网络编程那块使用I/O复用比较多，例如，TCP服务器同时处理监听socket和连接socket. 在了解I/O复用之前，我们需要先了解几个概念。 1，同步I/O与异步I/O 2，LT（水平触发）和ET（边缘触发） POSIX把两个术语定义如下： 同
IO多路复用之Select、Poll、Epoll详解
qq_45604814的博客
03-11 1263
一.IO多路复用简介 unxi有五种IO标准 阻塞式IO 非阻塞式IO IO复用 信号驱动IO 异步IO 当多种事件同时发生的时候 阻塞IO:同一时刻只能处理一个事件，多事件使用多进程多线程，耗费内存资源。但是不必时间片轮训，节约CPU宝贵资源 非阻塞IO：提高程序执行效率。不节约CPU资源。节约内存资源 IO多路复用：select poll epoll 二.什么是I/O多路转接技术 构建一张文件描述符列表，将要监听的文件描述符添加至该列表。select poll epoll会一...
IO:select、poll、epoll
五山口老法师
01-16 361
一、什么是IO？ 我们都知道unix世界里，一切皆文件，而文件是什么呢？文件就是一串二进制流，不管socket,还是FIFO、管道、终端，对我们来说，一切都是文件，一切都是流。在信息交换的过程中，我们都是对这些流进行数据的收发操作，简称为I/O操作(input and output)，往流中读出数据，系统调用read，写入数据，系统调用write。 二、文件描述符 那么计算机中这么多流，我们...
IO多路复用之select、poll、epoll
吹雪的专栏
07-30 512
IO多路复用是指内核一旦发现进程指定的一个或者多个IO条件准备读取，它就通知该进程。 与多进程和多线程技术相比，I/O多路复用技术的最大优势是系统开销小，系统不必创建进程/线程，也不必维护这些进程/线程，从而大大减小了系统的开销。 目前支持I/O多路复用的系统调用有 select，pselect，poll，epoll，I/O多路复用就是通过一种机制，一个进程可以监视多个描述符，一旦某个描述符就...
IO（二）：select、poll、epoll
scofen的博客
03-26 311
(1)select==>时间复杂度O(n) 它仅仅知道了，有I/O事件发生了，却并不知道是哪那几个流（可能有一个，多个，甚至全部），我们只能无差别轮询所有流，找出能读出数据，或者写入数据的流，对他们进行操作。所以select具有O(n)的无差别轮询复杂度，同时处理的流越多，无差别轮询时间就越长。 (2)poll==>时间复杂度O(n) poll本质上和select没有区别，它将用...
IO -- select方式-epoll方式
灵山一笑
07-07 317
一个典型的select的工作流程：//定义 文件描述符集合，一个是read, 一个是writefd_set fd_in, fd_out;struct timeval tv; // 情况集合信息FD_ZERO( &amp;fd_in );FD_ZERO( &amp;fd_out ); // 将sock1加入到读监控集合中FD_SET( sock1, &amp;fd_in ); // 将sock2加入...
IO复用之select、poll、epoll
kuangfeng的博客
09-26 494
IO之select、poll、epoll
select poll epoll网络io模型
最新发布
04-26
### 三种网络IO模型的对比 #### Select `select` 是一种早期的多路复用机制，用于监控多个文件描述符的状态变化。它通过一个数组来管理这些文件描述符，并允许程序一次性查询它们是否有数据可读或写入是否可用。然而，它的性能存在瓶颈，因为每次调用 `select` 都会重新复制整个文件描述符集合到内核空间并逐一检查其状态[^1]。 优点： - 支持多种平台。 缺点： - 文件描述符的数量受限于系统定义的最大值（通常较小）。 - 效率低下，尤其是当监听大量连接时，因为它需要遍历所有句柄以找到已准备好的那些。 - 不适合大规模并发环境下的高性能需求。 ```c fd_set readfds; FD_ZERO(&readfds); FD_SET(fd, &readfds); if (select(max_fd + 1, &readfds, NULL, NULL, timeout)) { if(FD_ISSET(fd, &readfds)){ // 处理I/O事件... } } ``` #### Poll 相比 `select`, `poll` 解除了最大文件描述符数量限制的问题，但它仍然继承了类似的缺陷——即每次调用都需要传递完整的列表给内核去扫描每一个条目是否存在活动情况[^1]。 结构体形式使得它可以容纳更多的项而不受传统位掩码大小的影响： ```c struct pollfd fds[n]; for(i=0;i<n;i++) { fds[i].fd = some_file_descriptor(); fds[i].events = POLLIN | POLLOUT; } ret = poll(fds, n, timeout_ms); foreach i from 0 to ret{ process_event(fds[i]); } ``` 尽管如此，由于缺乏内部优化设计如红黑树索引等技术手段的支持，在面对极高频率访问请求或者超大容量链接池的情况下表现依旧不够理想。 #### Epoll 作为 Linux 特有的改进版本，`epoll` 提供了一套更加灵活高效的解决方案。主要体现在以下几个方面: - **分离操作**: 将注册感兴趣的事件与实际等待发生分开执行(`epoll_ctl()` 和 `epoll_wait()`) ，从而减少了不必要的开销； - **无上限约束**: 关心的文件描述符数目理论上仅取决于系统的内存资源而非固定的数值界限； - **高效的数据结构运用**: 利用了诸如红黑树这样的高级算法加快查找速度的同时还借助双向链表存储就绪队列以便快速定位目标对象[^3]。 下面展示了一个简单的例子说明如何创建 epoll 实例并向其中添加新的 socket 连接以及轮询发生的 I/O 条件变更： ```c int efd = epoll_create1(0); struct epoll_event ev, events[MAX_EVENTS]; ev.events = EPOLLIN | EPOLLET; ev.data.fd = listen_sock; epoll_ctl(efd, EPOLL_CTL_ADD, listen_sock, &ev); while(true){ nfds = epoll_wait(efd, events, MAX_EVENTS, -1); for(n = 0; n < nfds; ++n){ handle_io(events[n].data.fd); } } ``` 综上所述，对于不同规模的应用场景可以选择合适的工具集来满足特定的要求。如果只是少量短时间内的交互，则可能 select 或者 basic blocking io 已经足够胜任；而对于大型服务器架构而言，采用 epoll 才能充分发挥硬件潜力达到最佳吞吐量效果。 ---
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值