I/O 多路复用:select/poll/epoll

IO复用技术——from.小林coding 操作系统之IO多路复用技术 阅读详情

url:9.2 I/O 多路复用:select/poll/epoll | 小林coding        (仅供自己学习使用)

为什么要使用I/O多路复用技术

TCP Socket 调用流程是最简单、最基本的,它基本只能一对一通信,因为使用的是同步阻塞的方式,当服务端在还没处理完一个客户端的网络 I/O 时,或者 读写操作发生阻塞时,其他客户端是无法与服务端连接的。可如果我们服务器只能服务一个客户,那这样就太浪费资源了,于是我们要改进这个网络 I/O 模型,以支持更多的客户端。

 TCP 连接是由四元组唯一确认的,这个四元组就是:本机IP, 本机端口, 对端IP, 对端端口,服务器作为服务方,通常会在本地固定监听一个端口,等待客户端的连接。因此服务器的本地 IP 和端口是固定的,于是对于服务端 TCP 连接的四元组只有对端 IP 和端口是会变化的,所以最大 TCP 连接数 = 客户端 IP 数×客户端端口数。

对于 IPv4,客户端的 IP 数最多为 2 的 32 次方,客户端的端口数最多为 2 的 16 次方,也就是服务端单机最大 TCP 连接数约为 2 的 48 次方。

这个理论值相当“丰满”,但是服务器肯定承载不了那么大的连接数,主要会受两个方面的限制:

  • 文件描述符,Socket 实际上是一个文件,也就会对应一个文件描述符。在 Linux 下,单个进程打开的文件描述符数是有限制的,没有经过修改的值一般都是 1024,不过我们可以通过 ulimit 增大文件描述符的数目;
  • 系统内存,每个 TCP 连接在内核中都有对应的数据结构,意味着每个连接都是会占用一定内存的;

那如果服务器的内存只有 2 GB,网卡是千兆的,能支持并发 1 万请求吗?

多进程模型

基于最原始的阻塞网络 I/O, 如果服务器要支持多个客户端,其中比较传统的方式,就是使用多进程模型,也就是为每个客户端分配一个进程来处理请求。

服务器的主进程负责监听客户的连接,一旦与客户端连接完成,accept() 函数就会返回一个「已连接 Socket」,这时就通过 fork() 函数创建一个子进程,实际上就把父进程所有相关的东西都复制一份,包括文件描述符、内存地址空间、程序计数器、执行的代码等。

这两个进程刚复制完的时候,几乎一模一样。不过,会根据返回值来区分是父进程还是子进程,如果返回值是 0,则是子进程;如果返回值是其他的整数,就是父进程。

正因为子进程会复制父进程的文件描述符,于是就可以直接使用「已连接 Socket 」和客户端通信了,

可以发现,子进程不需要关心「监听 Socket」,只需要关心「已连接 Socket」;父进程则相反,将客户服务交给子进程来处理,因此父进程不需要关心「已连接 Socket」,只需要关心「监听 Socket」。

下面这张图描述了从连接请求到连接建立,父进程创建生子进程为客户服务。

另外,当「子进程」退出时,实际上内核里还会保留该进程的一些信息,也是会占用内存的,如果不做好“回收”工作,就会变成僵尸进程,随着僵尸进程越多,会慢慢耗尽我们的系统资源。

因此,父进程要“善后”好自己的孩子,怎么善后呢?那么有两种方式可以在子进程退出后回收资源,分别是调用 wait() 和 waitpid() 函数。

多线程模型

既然进程间上下文切换的“包袱”很重,那我们就搞个比较轻量级的模型来应对多用户的请求 —— 多线程模型。

线程是运行在进程中的一个“逻辑流”,单进程中可以运行多个线程,同进程里的线程可以共享进程的部分资源,比如文件描述符列表、进程空间、代码、全局数据、堆、共享库等,这些共享些资源在上下文切换时不需要切换,而只需要切换线程的私有数据、寄存器等不共享的数据,因此同一个进程下的线程上下文切换的开销要比进程小得多。

当服务器与客户端 TCP 完成连接后,通过 pthread_create() 函数创建线程,然后将「已连接 Socket」的文件描述符传递给线程函数,接着在线程里和客户端进行通信,从而达到并发处理的目的。

如果每来一个连接就创建一个线程,线程运行完后,还得操作系统还得销毁线程,虽说线程切换的上写文开销不大,但是如果频繁创建和销毁线程,系统开销也是不小的。

那么,我们可以使用线程池的方式来避免线程的频繁创建和销毁,所谓的线程池,就是提前创建若干个线程,这样当由新连接建立时,将这个已连接的 Socket 放入到一个队列里,然后线程池里的线程负责从队列中取出「已连接 Socket 」进行处理。

需要注意的是,这个队列是全局的,每个线程都会操作,为了避免多线程竞争,线程在操作这个队列前要加锁。

I/O 多路复用(主角登场)

时分多路复用

既然为每个请求分配一个进程/线程的方式不合适,那有没有可能只使用一个进程来维护多个 Socket 呢?答案是有的,那就是 I/O 多路复用技术。

一个进程虽然任一时刻只能处理一个请求,但是处理每个请求的事件时,耗时控制在 1 毫秒以内,这样 1 秒内就可以处理上千个请求,把时间拉长来看,多个请求复用了一个进程,这就是多路复用,这种思想很类似一个 CPU 并发多个进程,所以也叫做时分多路复用。

我们熟悉的 select/poll/epoll 内核提供给用户态的多路复用系统调用,进程可以通过一个系统调用函数从内核中获取多个事件。

select/poll/epoll 是如何获取网络事件的呢?在获取事件时,先把所有连接(文件描述符)传给内核,再由内核返回产生了事件的连接,然后在用户态中再处理这些连接对应的请求即可。

select/poll

select 实现多路复用的方式是,将已连接的 Socket 都放到一个文件描述符集合,然后调用 select 函数将文件描述符集合拷贝到内核里,让内核来检查是否有网络事件产生,检查的方式很粗暴,就是通过遍历文件描述符集合的方式,当检查到有事件产生后,将此 Socket 标记为可读或可写, 接着再把整个文件描述符集合拷贝回用户态里,然后用户态还需要再通过遍历的方法找到可读或可写的 Socket,然后再对其处理。

所以,对于 select 这种方式,需要进行 2 次「遍历」文件描述符集合,一次是在内核态里,一个次是在用户态里 ,而且还会发生 2 次「拷贝」文件描述符集合,先从用户空间传入内核空间,由内核修改后,再传出到用户空间中。

        select 使用固定长度的 BitsMap,表示文件描述符集合,而且所支持的文件描述符的个数是有限制的,在 Linux 系统中,由内核中的 FD_SETSIZE 限制, 默认最大值为 1024,只能监听 0~1023 的文件描述符。

        poll 不再用 BitsMap 来存储所关注的文件描述符,取而代之用动态数组,以链表形式来组织,突破了 select 的文件描述符个数限制,当然还会受到系统文件描述符限制。

·        但是 poll 和 select 并没有太大的本质区别,都是使用「线性结构」存储进程关注的 Socket 集合,因此都需要遍历文件描述符集合来找到可读或可写的 Socket,时间复杂度为 O(n),而且也需要在用户态与内核态之间拷贝文件描述符集合,这种方式随着并发数上来,性能的损耗会呈指数级增长

epoll

先用e poll_create 创建一个 epol l对象 epfd,再通过 epoll_ctl 将需要监视的 socket 添加到epfd中,最后调用 epoll_wait 等待数据。

int s = socket(AF_INET, SOCK_STREAM, 0);
bind(s, ...);
listen(s, ...)

int epfd = epoll_create(...);
epoll_ctl(epfd, ...); //将所有需要监听的socket添加到epfd中

while(1) {
    int n = epoll_wait(...);
    for(接收到数据的socket){
        //处理
    }
}

epoll 通过两个方面,很好解决了 select/poll 的问题。

  •         第一点,epoll 在内核里使用红黑树来跟踪进程所有待检测的文件描述字,把需要监控的 socket 通过 epoll_ctl() 函数加入内核中的红黑树里,红黑树是个高效的数据结构,增删改一般时间复杂度是 O(logn)。而 select/poll 内核里没有类似 epoll 红黑树这种保存所有待检测的 socket 的数据结构,所以 select/poll 每次操作时都传入整个 socket 集合给内核,而 epoll 因为在内核维护了红黑树,可以保存所有待检测的 socket ,所以只需要传入一个待检测的 socket,减少了内核和用户空间大量的数据拷贝和内存分配
  •         第二点, epoll 使用事件驱动的机制,内核里维护了一个链表来记录就绪事件,当某个 socket 有事件发生时,通过回调函数内核会将其加入到这个就绪事件列表中,当用户调用 epoll_wait() 函数时,只会返回有事件发生的文件描述符的个数,不需要像 select/poll 那样轮询扫描整个 socket 集合,大大提高了检测的效率。

 epoll 的方式即使监听的 Socket 数量越多的时候,效率不会大幅度降低,能够同时监听的 Socket 的数目也非常的多了,上限就为系统定义的进程打开的最大文件描述符个数。因而,epoll 被称为解决 C10K 问题的利器。

边缘触发和水平触发

这两个术语还挺抽象的,其实它们的区别还是很好理解的。

  • 使用边缘触发模式时,当被监控的 Socket 描述符上有可读事件发生时,服务器端只会从 epoll_wait 中苏醒一次,即使进程没有调用 read 函数从内核读取数据,也依然只苏醒一次,因此我们程序要保证一次性将内核缓冲区的数据读取完;
  • 使用水平触发模式时,当被监控的 Socket 上有可读事件发生时,服务器端不断地从 epoll_wait 中苏醒,直到内核缓冲区数据被 read 函数读完才结束,目的是告诉我们有数据需要读取;

举个例子,你的快递被放到了一个快递箱里,如果快递箱只会通过短信通知你一次,即使你一直没有去取,它也不会再发送第二条短信提醒你,这个方式就是边缘触发;如果快递箱发现你的快递没有被取出,它就会不停地发短信通知你,直到你取出了快递,它才消停,这个就是水平触发的方式。

Linux驱动:I/O多路复用的select、poll、epoll机制 I/O多路复用的select、poll、epoll机制1、I/O多路复用机制1.1 简介1.2 API函数1.2.1 驱动层1.2.2 应用层2、驱动源码(内核空间)3、测试程序(用户空间)3.1 select函数3.2 poll函数 1、I/O多路复用机制 1.1 简介   select、poll和epoll都允许一个进程监视多个文件描述符,一旦某个描述符可读或者可写,就能够执行相应的读写操作了。poll机制的作用主要是通过在用户空间调用select、poll等函数来对设备进行非阻塞的访问,然后用户空间经 阅读详情

相关推荐

IO多路复用之select实例

本示例演示了使用select函数处理多路IO复用。本示例在ubuntu + Qt下编译通过的,仅提供学习使用。

I/O 多路复用

这次,我们以最简单 socket 网络模型,一步一步的过度到 I/O 多路复用。 但我不会具体细节说到每个系统调用的参数,这方面书上肯定比我说的详细。 好了,发车! 最基本的 Socket 模型 要想客户端和服务器能在网络中通信,那必须得使用 Socket 编程,它是进程间通信里比较特别的方式,特别之处在于它是可以跨主机间通信。 Socket 的中文名叫作插口,咋一看还挺迷惑的。事实上,双方要进行网络通信前,各自得创建一个 Socket,这相当于客户端和服务器都开了一个“口子”,双方读取和..

caofengtao1314的专栏 536

io多路复用解析

io多路复用解析

社招转行进腾讯了(自学经验 + 面试心得)

大家好,我是小林哥。 之前分享过很多读者校招拿到大厂 offer 的经历,他们都有一个共同的特点。 就是在大学期间对于计算机基础准备的很充分,比如数据结构与算法、操作系统、计算机网络、数据库、Linux 这些。 然后期间就有很多读者问我,对于社招或者转行又应该怎么准备呢? 前段时间,就有位在机械行业工作了 2 年的读者,成功转行了程序员,而且还进了腾讯: 我知道大家肯定会很好奇他的经历,所以小林已经邀请这位读者来分享他的转行的经历。 当时我看完后挺震撼的。震撼在于他之前的机械工作,竟然晚上 10 点才下班

小林coding 1万+

Win11下Wezterm配置Powershell默认终端全攻略(含主题同步技巧)

本文详细介绍了在Windows 11系统中,如何安装和配置Wezterm终端模拟器,并将其设置为PowerShell的默认终端。内容涵盖使用Winget或手动安装Wezterm,通过修改.lua配置文件切换默认Shell,并同步Campbell主题配色以还原熟悉的PowerShell视觉体验,旨在帮助开发者打造高效、个性化的命令行工作环境。

weixin_28363123的博客 1243

MTK PE+2.0介绍

  PE+2.0介绍:   1.      PE+2.0的状态机: 2.      升压波形协议及编码规则: PE+2.0软件设计:   在充电器类型为标充且底层电量SOC在1%—95%之间时,开始PE+2.0升压充电器的检测:首先将VBUSreset至5V,之后发送8.5的current pattern再获取此时VBUS电压和8.5V比较,若其与8.5的差值绝对值在0.5之...

raydom07的博客 1万+

I/O 多路复用:select、poll、epoll

select和poll是Linux系统中常用的I/O多路复用机制。select通过位操作管理文件描述符,受限于1024的最大数量,使用fd_set结构体数组来跟踪描述符状态。poll则没有数量限制,采用pollfd结构体管理事件,将读写事件合并处理,通过位与运算判断事件发生。两者都提供了高效的I/O监控能力,但poll在可扩展性和使用便利性上更优。示例代码展示了select和poll的基本用法,包括描述符设置和事件检测。

bdn_nbd的博客 839

洛奇 服务器文件,MabinogiG20S2 [洛奇G20服务端]

Code:Titles:>set_title /id: /add /remove Parameters for titles>set_title /id:60001 /add add devcat title>set_title /id:60001 /remove remove devcat title===========================...

weixin_30813385的博客 4307

Linux I/O 多路复用:select、poll 和 epoll 详解

本文将详细介绍三种主要的 I/O 多路复用机制:select、poll 和 epoll,分析它们的工作原理、API 使用、示例代码以及各自的优缺点。epoll 是 Linux 特有的高性能 I/O 多路复用机制,解决了 select 和 poll 的性能瓶颈。select 是最早出现的 I/O 多路复用机制,它使用位图(fd_set)来表示文件描述符集合。poll 改进了 select 的一些限制,使用链表结构代替位图,没有最大文件描述符数量的限制。: 需要监控的文件描述符的最大值加 1。

2301_80067496的博客 947

百度飞桨+文心大模型实战:生成式AI工程师认证备考全攻略(含真题解析)

本文详细解析百度飞桨与文心大模型结合的生成式AI工程师认证备考策略,涵盖认证体系、学习路径、核心技能突破及真题分析。帮助开发者掌握大模型原理、飞桨平台操作和文心大模型应用,高效通过工信部与百度联合认证考试。

loss4bartender的博客 690

Materials Studio实战技巧(八)——利用片段库高效构建有机金属配合物

本文详细介绍了在Materials Studio中利用Fragment Browser(片段浏览器)高效构建有机金属配合物的实战技巧。通过调用预置的Metal Templates和Ligands库,用户可以快速搭建如茂金属催化剂等复杂分子骨架,并利用对称性操作精确控制Meso与Rac构型。文章还涵盖了自定义片段库的创建与使用,能显著提升建模效率,适用于计算化学与材料模拟领域的研究者。

wine的专栏 938

浅析I/O多路复用:select、poll、epoll

要想实现并发编程,最简单的模式就是1个进程/线程处理1个连接的全部生命周期,当我们使用默认的套接字时,它会将一个新的连接与一个进程或线程绑定,这样等待处理消息的进程或线程就会阻塞而等待消息准备好,在高并发下这会导致进程/线程频繁的睡眠、唤醒,从而影响了CPU的效率。而多路复用则是解决这一问题的“利器”,它可以同时监控所有的连接,它虽然也会进入睡眠等待阶段,但是这一个进程/线程是为所有连接而等待,只

Renie的专栏 1214

YOLOv8【第十章:多任务扩展深度篇·第16节】车道线检测——基于 YOLOv8-Seg 的车道线分割与拟合!

🏆 本文收录于 《YOLOv8实战:从入门到深度优化》 专栏。该专栏系统复现并梳理全网各类 YOLOv8 改进与实战案例(当前已覆盖分类 / 检测 / 分割 / 追踪 / 关键点 / OBB 检测等方向),坚持持续更新 + 深度解析,质量分长期稳定在 97 分以上,可视为当前市面上 覆盖较全、更新较快、实战导向极强 的 YOLO 改进系列内容之一。

**My Coding Family** 1万+

Linux I/O 多路复用详解:select、poll 和 epoll

本文详细介绍了Linux中的三种I/O多路复用机制:select、poll和epoll。它们都用于同时监听多个文件描述符,等待其中任何一个变为可读/可写状态。 select是最早的机制,使用固定大小的位图(fd_set),存在1024个文件描述符的限制,且每次调用都需要在内核和用户空间之间拷贝数据,性能较差。poll改用结构体数组,解决了数量限制问题,但仍需遍历所有文件描述符。 epoll是Linux特有的高性能机制,采用事件驱动模型,没有数量限制。它通过三个步骤工作:创建epoll实例、注册要监听的文件描

Sakuraaaaaaa的博客 471

YOLOv11涨点改进| SCI一区2026 |独家创新首发、特征融合改进篇|引入FAFM特征对齐融合模块,通过特征对齐和融合两个阶段,助力多模态融合小目标检测,小目标检测,SAR图像目标检测高效涨点

🔥本文提出了一种改进YOLOv11网络模型的方法,通过引入FAFM(特征对齐融合模块)来解决多模态目标检测中的特征空间错位问题。FAFM模块采用可变形卷积和内容引导注意力机制,有效实现了跨模态特征对齐与融合,充分利用了不同模态间的互补信息。该方法在保持模型轻量化的同时,显著提升了目标检测精度和鲁棒性,特别是在复杂背景和模态差异较大的场景下表现突出。文章详细介绍了FAFM模块的结构、原理、优势,并提供了完整的代码实现和模型配置方案,为多模态目标检测任务提供了实用的技术参考。

Ai缝合怪、助力小伙伴高效发论文 269

RK3588芯片USB OTG模式切换:Device到Host的驱动奥秘之旅

摘要:本文详细介绍了RK3588芯片USB OTG模式从Device到Host的完整驱动流程,包括硬件电路设计、内核驱动配置、模式切换机制及验证方法。RK3588芯片凭借强大的性能和灵活的USB OTG特性,在工业控制、智能家居等领域具有广泛应用前景。文章重点分析了Type-C接口设计、USBPHY芯片选型、Linux内核模块配置等关键技术要点,并提供了模式切换脚本使用方法和常见问题解决方案,为开发者实现RK3588 USB OTG功能提供了全面指导。

远程部署调试 运行安装 项目调试 二次开发 项目技术新 持续迭代 部分源码免费分享 743

I/O多路复用:select、poll、epoll

的机制,用于监控多个文件描述符(fd)的读写状态,从而高效处理多连接场景。select、poll、epoll 都是 Linux 系统中用于实现。(添加/删除/修改监控的 fd)、

2301_77958778的博客 900

Probability and Statistics - 4th edition

Probability and Statistics - 4th edition

I/O多路复用:select/poll/epoll

要想客户端和服务器能在网络中通信,那必须得使用 Socket 编程,它是进程间通信里比较特别的方式,特别之处在于它是可以跨主机间通信。Socket 的中文名叫作插口,咋一看还挺迷惑的。事实上,双方要进行网络通信前,各自得创建一个 Socket,这相当于客户端和服务器都开了一个“口子”,双方读取和发送数据的时候,都通过这个“口子”。这样一看,是不是觉得很像弄了一根网线,一头插在客户端,一头插在服务端,然后进行通信。

m0_62812354的博客 911

NTscan扫描工具

ntscan是一个扫描器,可以扫描没有密码和弱密码的共享,先到配置文件中填写猜测的用户名和密码,扫描过程中右侧出现的是扫描日志。

IMSL CNL 7.0.0 (x86-64)Crack

IMSL CNL 7.0.0 (x86-64)Crack intel的算法库破解文件,这是C++版本的破解文件

深入解析Linux I/O多路复用:select、poll与epoll对比

I/O多路复用是高性能网络编程的核心技术,它通过单线程监控多个文件描述符的状态变化,大幅提升系统吞吐量。从select、poll到epoll的技术演进,体现了从轮询机制到事件驱动架构的跨越。select使用位图管理描述符但存在1024限制,poll改用结构体数组突破数量限制,而epoll通过红黑树和就绪队列实现O(1)事件通知。在边缘触发(ET)模式下,epoll能更高效处理高并发场景,如Nginx等服务器软件。理解这些机制的实现原理和性能差异,对构建C10K级别的高并发服务至关重要。

weixin_33726318的博客 385

VB摄像头监控

该VB模块可对摄像头捕获的画面进行录像等,可在创建的窗口进行控制

I/O多路复用:select、poll和epoll详解

I/O多路复用 I/O复用使得程序能同时监听多个文件描述符,这对提高程序的性能至关重要。通常,网络程序在下列情况下需要使用I/O复用技术: 客户端程序要同事处理多个socket。比如将讨论的非阻塞connect技术。 客户端程序要同时处理用户输入和网络连接。 TCP服务器要同时处理监听socket和连接socket。这是I/O复用使用最多的场合。 I/O复用虽然能同时监听多个文件描述...

Tyler_Zx的博客 1万+

I/O 多路复用机制的演进:select → poll → epoll

NIO模型不用像BIO那样,每次要启用一个线程去处理一个连接了,而是可以对某个IO事件进行监听,并继续执行其他任务,不需要阻塞等待。的逐步演进和优化,它们在功能上相似(都用于同时监控多个文件描述符的 I/O 事件),但在性能、可扩展性和使用方式上有显著差异。在传统的BIO模型中(同步阻塞型I/O),每一个连接都要对要对应一个线程进行处理,到内核里,让内核来检查是否有网络事件产生,检查的方式很粗暴,,一次是在内核态里,一个次是在用户态里 ,而且还会发生。所以,对于 select 这种方式,需要进行。

SoulruiA的博客 2458

Linux I/O多路复用:select、poll、epoll终极对比

技术核心问题解决瓶颈select多路复用基础FD限制、拷贝开销、O(n)遍历poll突破FD数量限制仍存在O(n)遍历和全量拷贝epoll事件驱动、零拷贝、O(1)就绪列表Linux专有,API稍复杂​​演进本质​​:从线性扫描到事件回调,从全量拷贝到增量同步,从被动查询到主动通知。理解这些区别,你就能在开发高并发服务时做出更优的技术决策。无论是面试还是实战,掌握 select/poll/epoll 的差异是后端工程师的必备技能!

m0_73815641的博客 1026

I/O 多路复用:select/poll/epoll详解

I/O 多路复用:select/poll/epoll

weixin_49239825的博客 925

I/O多路复用:select、poll和epoll区别

select poll epoll

goodgoodstudy___的博客 339

12.总结:深入理解 Linux I/O 多路复用:select、poll、epoll 全解析

本文深入解析了Linux系统中I/O多路复用的三种核心机制:select、poll和epoll。首先阐述了I/O多路复用的必要性,通过单线程监控多个连接解决了传统模型的资源浪费问题。随后详细对比了三者的实现原理与性能差异:select存在1024连接数限制和O(n)效率问题;poll改进了数据结构但仍需线性扫描;epoll采用红黑树和就绪链表实现了O(1)高效事件通知。文章重点剖析了epoll的三大API(create/ctl/wait)、两种触发模式(LT/ET)以及必须使用非阻塞I/O的ET模式铁律,并

C++ 是一门不原谅粗心的语言,而我恰好喜欢这种不原谅。 我是 x,正在成为更严谨的 C++ 开发工程师的路上。 959
上一篇: TCP四次挥手
下一篇: 多进程实现并发服务器
Neo_21
博客等级 码龄6年 4粉丝 83原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值