并发模型和I/O模型介绍

7种常见网络并发模型介绍 对于网络服务器后端开发,为满足不同并发场景的需要,一般来说,不外乎几种常见的并发模型,除了一些教学场景常用的单线程、多进程(线程)的服务器实现外,生产用的服务器,一般都会考虑使用IO多路复用模型。而常见的IO多路复用场景 ,可以设计得很简单,也可以设计得比较复杂,一般根据业务需要而定。本文总结了一些比较常见的服务器并发模型,基本涵盖了 大部分业务场景。在实际业务开发的技术选型时,可根据场景,选取一款稳定、可靠的网络模型,还是十分关键的。 阅读详情

并发模型

常见的并发模型一般包括3类,基于线程与锁的内存共享模型,actor模型和CSP模型,其中尤以线程与锁的共享内存模型最为常见。由于go语言的兴起,CSP模型也越来越受关注。基于锁的共享内存模型与后两者的主要区别在于,到底是通过共享内存来通信,还是通过通信来实现访问共享内存。由于actor模型和CSP模型,本人并不是特别了解,我主要说说最基本的并发模型,基于线程与锁的内存共享模型。

为什么要并发,本质都是为了充分利用多核CPU资源,提高性能。但并发又不能乱,为了保证正确性,需要通过共享内存来协调并发,确保程序正确运转。无论是多进程并发,还是多线程并发,要么通过线程间互斥同步(spinlock,rwlock,mutex,condition,信号量),要么通过进程间通信(共享内存,管道,信号量,套接字),本质都是为了协同。多线程和多进程本质类似,尤其是linux环境下的pthread库,本质是用轻量级进程实现线程。下面以网络服务为例,简单讨论下多线程模型的演进。

最简单的模型是单进程单线程模型,来一个请求处理一个请求,这样效率很低,也无法充分利用系统资源。那么可以简单的引入多线程,其中抽出一个线程监听,每来一个请求就创建一个工作线程服务,多个请求多个线程,这就是多线程并发模型。这种模式下,资源利用率是上去了,但是却有很多浪费,线程数与请求数成正比,意味着频繁的创建/销毁线程开销,频繁的上下文切换开销,这些都是通过系统调用完成,需要应用态到内核态的切换,导致sys-cpu偏高,资源并没有充分利用在处理请求上。

为了缓解这个问题,引入线程池模型,简单来说,就是预先创建好一批线程,并且加大线程的复用能力,将线程数控制在一定数目内,缓解上下文切换开销。以MySQL线程池为例,原来多线程模型是单连接单线程,现在变成单语句单线程,提高了线程复用效率。如果线程在执行过程中遇到等待(锁等待,IO等待),那么线程挂起,并减少活跃线程数,告知线程池系统活跃线程可能不够,需要追加线程,然后等系统空闲时,再减少线程数目,做到根据系统负载平衡线程数目。为了做到极致,更进一步减少上下文切换开销,引入了协程,协程只是一种用户态的轻量线程,它运行在用户空间,不受系统调度。它有自己的调度算法。在上下文切换的时候,协程在用户空间切换,而不是陷入内核做线程的切换,减少了开销。协程的并发,是单线程内控制权的轮转,相比抢占式调度,协程是主动让权,实现协作。协程的优势在于,相比回调的方式,写的异步代码可读性更强。缺点在于,因为是用户级线程,利用不了多核机器的并发执行。简单总结下:

单线程-->(单线程轮询处理,太慢)
多线程-->(多线程会频繁地创建、销毁线程,这对系统也是个不小的开销。这个问题可以用线程池来解决。)
线程池-->(仍然有多线程上下文切换的问题,调度由内核调度)
协程-->(应用层调度,不touch内核)

I/O模型

linux中所有物理设备对于系统而言都可以抽象成文件,包括网卡,对应的就是套接字,磁盘对应的文件,以及管道等。因此所有对物理设备的读写操作都可以抽象为IO操作,典型的IO操作模型分为以下几类,阻塞IO,非阻塞IO,I/O多路复用,异步非阻塞IO以及异步IO等。

【文章福利】另外小编还整理了一些C/C++后台开发教学视频,相关面试题,后台学习路线图免费分享,需要的可以自行添加:Q群:720209036 点击加入~ 群文件共享

小编强力推荐C++后台开发免费学习地址:C/C++Linux服务器开发高级架构师/C++后台开发架构师​icon-default.png?t=M666https://ke.qq.com/course/417774?flowToken=1013189

IO模型分类

阻塞I/O--> 原生的read/write系统调用,默认导致线程阻塞;

非阻塞I/O -->通过指定系统调用read/write的参数为非阻塞,告知内核fd没就绪时,不阻塞线程,而是返回一个错误码,应用死循环轮询,直到fd就绪;

I/O多路复用-->(select/poll/epoll),对通知事件堵塞,对于I/O调用不堵塞。

异步I/O(异步非阻塞)-->告知内核某个操作(读写I/O),并让内核在整个操作(包括将数据复制到我们的进程缓冲区)完成后通知。

I/O多路复用

常见的I/O多路复用主要用于网络IO场景,主要有select,poll和epoll机制。对比同步I/O,实际上是对I/O请求加了一层代理,由这些代理去监听通知事件(是否网络包到来),然后再通知用户去读写数据。这种方式也是一种阻塞I/O,代理对通知事件阻塞,这里的代理一般指监听线程。对比select,poll提升了最大支持文件描述符数目,从1024提升到65535,MySQL中的半同步复制还因为使用select的这个限制,导致半同步中断的bug(链接)。

对比select和poll机制,epoll通过事件表管理用户感兴趣的事件,无需反复传入用户感兴趣事件,处理事件通知的时间复杂度是O(1),而select,poll机制的时间复杂度是O(N)。另外select/poll只能工作在LT模式(水平触发模式);而epoll不仅支持LT模式,还支持ET模式(边缘触发模式)。两种模式的主要区别是,有数据可读时,LT模式会不停的通知,直到数据被获取,这种模式不用担心通知事件丢失;ET模式只会通知一次,因此对比LT少很多epoll系统调用,效率更高。epoll对编程要求高,需要细致的处理每个请求,否则容易发生丢失事件的情况。从本质上讲,与LT相比,ET模型是通过减少系统调用来达到提高并行效率的。

libev/libeasy

epoll很好用,但是要使用epoll,fd,signal,timer分别要采用不同的机制才能一起工作。libev第一个要做的事情就是把系统资源统一成一种调用方式。因为都需要在读写事件就绪后自己负责进行读写,也就是读写过程是阻塞的。libev的核心是事件处理框架,最常见的是就是一个所谓的Reactor事件处理框架和设计模式。Reactor对象负责实现主循环(其中有事件分离器的调用),定义事件处理接口,用户程序向Reactor注册事件回调的实现类(从接口继承),Reactor主循环在收到事件的时候调用相应的回调函数。libeasy实现类似libev和libevent的功能,包括HTTP服务器等,不同的是,它基于libev做了包装,提供了同一个的资源fd和loop机制,线程池,异步框架等实现。

AIO

说到AIO,一般是说磁盘的异步I/O,linux早期的版本并没有真正的AIO接口,所谓的AIO其实是多线程模拟的,在应用态完成。具体而言就是有一个队列存储IO请求,通过一组工作线程提取任务,并发起同步IO,待IO完成后,再通知用户已经完成了。对于用户而言,由于是提交IO请求后就直接返回,然后再被通知IO已经完成,所以可以认为是异步I/O,这种异步I/O实现机制主要指POXIS AIO,MySQL的InnoDB引擎也实现了一套类似的AIO机制。后面linux内核引入了真正的AIO,主要区别在于发起I/O调用不再是同步调用,IO请求统一在内核层面排队,并且一次可以提交一批异步IO请求,然后通过轮询或者回调的方式接收完成通知即可。相比于POXIS AIO,底层有更多的IO并行,IO和CPU能充分并发,大大提升性能。在使用中,通过-lrt链接使用AIO库是POXIS接口,而通过-laio链接使用的AIO库是linux Native AIO接口。常用接口包括 io_setup,io_destroy,io_submit,io_cacel和io_getevents等。

对比

同步IO:

优点:简单

缺点:IO阻塞,无法充分利用IO和CPU资源,效率低

Native AIO:

优点:AIO可以支持一次发送多个不连续的异步IO请求,性能更好(同步IO需要发送多次)

缺陷:需要文件系统支持O_DIRECT选项,如果不支持,io_submit实际上是“退化”成同步操作。

POSIX AIO:

优点:不依赖O_DIRECT选项,有一定的合并能力(相邻地址的请求,可以做merge)。

缺点:并发的IO请求受限于线程数目;另外就是,可能慢速磁盘,可能导致其它新的请求没有及时处理(工作线程数不够了)。

参考资料

推荐一个零声教育C/C++后台开发的免费公开课程,个人觉得老师讲得不错,分享给大家:C/C++后台开发高级架构师,内容包括Linux,Nginx,ZeroMQ,MySQL,Redis,fastdfs,MongoDB,ZK,流媒体,CDN,P2P,K8S,Docker,TCP/IP,协程,DPDK等技术内容,立即学习

原文:收藏:并发模型和I/O模型介绍

关于不同网络I/O模型的原理 本文系统介绍了五种I/O模型的工作原理和特点。主要内容包括:I/O操作分为同步和异步两类,同步I/O包含阻塞、非阻塞、I/O复用和信号驱动四种模型,它们在数据准备和拷贝阶段的处理方式不同;异步I/O则由内核完成所有操作后通知进程。文章详细分析了每种模型的工作流程、优缺点及适用场景,并对比了同步与异步I/O的核心区别。此外,还介绍了底层支持机制如中断、DMA和内核调度等技术,为理解网络编程中的I/O处理提供了全面参考。 阅读详情

相关推荐

iPhone用户必看:不装App也能搞定GitHub 2FA验证的3种方法(附恢复码管理技巧)

本文为iPhone用户提供了无需安装第三方App即可完成GitHub双重身份验证(2FA)的三种原生方案:利用相机扫码与iCloud钥匙串自动填充、使用iCloud钥匙串内置的TOTP验证码生成器,以及借助Safari浏览器扩展。文章详细解析了每种方法的操作步骤、适用场景,并重点强调了恢复码的安全管理与多层备份策略,帮助开发者在提升账户安全的同时,享受苹果生态的无缝便捷体验。

weixin_29324401的博客 662

详解并发模型

并发编程的基石---并发模型

在路上 1535

Lumerical INTERCONNECT 中的自相位调制 (SPM) 仿真实践指南

本文详细介绍了在Lumerical INTERCONNECT中进行自相位调制(SPM)仿真的实践指南。从SPM的基础物理原理出发,深入解析非线性薛定谔方程和克尔效应,到INTERCONNECT中NLSE波导元件的配置技巧,以及时域与频域中SPM效应的观测方法。文章还提供了常见问题排查和进阶联合仿真技巧,帮助用户高效完成从仿真到实测的校准过程。

weixin_42565652的博客 189

5种常见的并发模型

5种常见的并发模型 前言 并发在现在已经是十分常见的问题了,由于人类信息量的增加,很多信息都需要并发处理,原有的串行处理已经很难满足现实的需求。 今天我们来讲一讲5种常见的并发模型 1、Future模型 Future模型是将异步请求和代理模式结合的产物 举例:假设我们是一个电商平台,用户在网站下单。用户操作的是客户端它会向Future服务端发送数据,服务端会从后台的数据接口获取完整的订单数据,并响...

人间世 5838

mstar PQ软件修改方法

1.修改ADC的值 Static code APIXC_AdcGainOffsetSetting tADCSetting[ADC_SET_NUMS]= #define INIT_ADC_RGB_RED_GAIN               0x1000 #define INIT_ADC_RGB_GREEN_GAIN           0x1000 #define INIT_ADC_RGB

qq_18810259的专栏 2567

FPGA—DHT11数字温湿度传感器

1. DH1T11温湿度传感器与DS18B20温湿度传感器非常类似,都是严格按照时序要求写代码。建议可以比较学习。2. 显示温度与湿度部分的数据处理,采用 X10 进行在数码管上的移一位显示,配合了数码管小数部分的显示特点又区分了温度与湿度。3. 程序是按照一个接一个状态及顺序跳转的,建议使用状态机。说明:本人使用的是野火家Xilinx Spartan6系列开发板及配套教程,以上内容如有疑惑或错误欢迎评论区指出,或者移步B站观看野火家视频教程。

m0_72885897的博客 4782

【专家坐堂】四种并发编程模型简介

本文来自网易云社区概述并发往往和并行一起被提及,但是我们应该明确的是“并发”不等同于“并行”•       并发 :同一时间 对待 多件事情 (逻辑层面)•       并行 :同一时间 做(执行) 多件事情 (物理层面)并发可以构造出一种问题解决方法,该方法能够被用于并行化,从而让原本只能串行处理的事务并行化,更好地发挥出当前多核CPU,分布式集群的能力。但是,并发编程和人们正常的思维方式是不一...

网易数帆社区博客 1002

网格自适应_Comsol案例解析17:自适应网格的使用

本期导读自适应网格细化有许多优势,比如可以不用对网格进行全局加密,增加计算精度,又会降低求解自由度。本期仍然以气泡上升案例为例,在两相流模块中使用自适应网格。【打开案例模型】【修改网格】适当让气泡边界加密,注意,曲率因子越小,曲线上的网格越密【添加自适应网格】使用默认的参数即可,这里的误差指示器用的是水平集phi。可以根据具体求解模型选择适当的自变量作为误差指示器。【口诀】默认的一般是最...

weixin_28726871的博客 5683

libeasy原理,架构和使用方法

libeasy 原理、架构和使用方法简介libeasy提供一个处理tcp连接的事件驱动的网络框架。框架本身封装好了底层的网络操作,只需要开发者处理其中的各种事件。本文介绍libeasy的一些实现原理,整体框架,以及使用的样例。本文是经过一系列摸索,以及wireshark抓包,再结合一些互联网上一些仅有的资料整理完成,如有理解不当的地方,烦请指出。基本概念libeasy 的基本概念有:easy_con

马云雷的专栏 4363

Debian 12 安装nodejs(包括node、npm、npx、yarn、pnpm、cnpm、bun)

【代码】Debian 12 安装nodejs。

mirana的专栏 8047

AgentScope实战训练营:从零搭建一个完整的A2A Agent应用

2024年4月,Google在Google Cloud Next大会上正式提出了A2A(Agent-to-Agent)协议,这是一个开放协议,旨在让不同的AI Agent之间能够像微服务一样相互发现、相互调用。通俗地讲:A2A协议就是AI Agent世界的HTTP协议——有了它,一个Agent可以把自己的能力以标准化的方式暴露出去,另一个Agent可以无缝地发现并调用它。本文将基于阿里巴巴开源的(Apache 2.0协议),手把手带你从零搭建一个完整的A2A Agent应用。

program哲学 571

服务器编程框架:I/O模型和两种高效并发模型

本文从一个整体视角来对服务器编程框架来介绍,将其分为三个部分:I/O模型,逻辑处理,持久化存储单元。介绍其三者的关系,同时详细去介绍I/O模型部分及其衍生出的两种并发模型:Reactor和Proactor

qq_40529346的博客 861

最新Python爬虫实战(入门爬虫篇)——案例20:某股票数据采集(详细爬虫思路截图+抓包动图演示+完整爬虫代码+详细注释)

本次案例针对某股票行情网的静态HTML页面,实现了全市场股票数据的全自动化爬取,覆盖了从抓包分析、请求模拟、数据解析到数据存储的完整爬虫流程,非常适合入门学习者巩固基础,核心知识点和实现要点总结如下:首先是页面分析的核心逻辑,静态HTML页面的数据爬取,核心在于通过浏览器开发者工具,完成完整的抓包分析和标签结构定位。我们不需要像动态页面那样找隐藏的API接口,只需要确认数据在主文档的HTML源码中,然后通过元素选择器,精准找到每个字段对应的标签,总结出统一的标签结构规律,就能实现批量数据提取。

努力让自己发光,对的人才能迎着光而来 19万+

你知道几种 I/O 模型?

五种IO模型,层层递进,一个比一个性能高,当然模型的复杂度也一个比一个复杂。

smart_an的专栏 1174

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

win10 跳过U8环境检测的IE WebControls.rar

win10 安装u8的时候 提示IE WebControls 不通过,这个工具可以欺骗u8的检查。 跳过U8环境检测的IE WebControls。提示导入失败后,重新检测通过。

I/O模型和并发模型

1、针对非阻塞I/O执行的系统调用总是立即返回,而不管事件是否已经发生。如果事件没有立即发生,这些系统调用返回-1,和出错情况是一样的。此时必须根据errno来区分这两种情况。 很显然,我们只能在事件已经发生的情况下操作非阻塞I/O,才能提高程序效率,因此,非阻塞I/O通常需要和其他的I/O通知机制一起使用,比如I/O复用和SIGIO信号。 2、I/O复用是最常使用的I/O通知机制。他

蓝旭晨枫╮ 1017

精雕软件(JDpaint) 5.5 绿色版

精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版

I/O 模型全解析:从阻塞 I/O 到 Epoll

本文介绍了五种常见的I/O模型:阻塞I/O、非阻塞I/O、I/O多路复用、信号驱动I/O和异步I/O,重点分析了I/O多路复用技术。详细比较了select、poll和epoll三种实现机制的特点,包括FD限制、时间复杂度和适用场景等。其中epoll通过红黑树和就绪队列实现高效监控,支持水平/边缘触发模式,是Linux下高并发场景的首选方案。文章还结合Socket通信流程,说明了I/O多路复用如何解决传统阻塞模型的性能瓶颈问题。

2301_78085749的博客 1791

efm32 入门.pdf

本PDF共计22页,介绍的是操作驱动API,下载与否自己斟酌。

I/O模型:从阻塞到异步的演进

I/O模型决定了程序与外部设备交互的效率,主要分为五种:阻塞I/O会完全阻塞进程;非阻塞I/O通过轮询减少等待;I/O多路复用通过单线程监控多个I/O;信号驱动I/O通过信号通知就绪;异步I/O则由内核完全处理。其中,I/O多路复用(如epoll)和异步I/O(如io_uring)最适合高并发场景。实际开发中应根据应用规模选择合适模型,中小规模可用I/O多路复用,大规模推荐异步I/O或成熟框架(如Netty),在性能和开发效率间取得平衡。

Qinti_mm的博客 1012

计算机系统I/O模型与I/O多路复用学习笔记

特性阻塞 I/O非阻塞 I/OI/O 多路复用信号驱动 I/O异步 I/O数据准备阶段阻塞立即返回 (需轮询)阻塞在多路复用调用上立即返回立即返回数据拷贝阶段阻塞阻塞 (当数据就绪)阻塞 (在就绪的 FD 上操作)阻塞不阻塞(内核完成)线程使用1 线程 / 1 连接1 线程可轮询多连接1 线程可管理大量连接1 线程可管理多连接1 线程可管理大量连接CPU 效率等待时低轮询时高 (浪费)高 (只在事件就绪时处理)高最高编程复杂度简单中等中等 (多路复用 API)

yuhui2331的博客 1700

[计算机网络]网络I/O模型

我们非常有必要了解I/O模型,以Java微服务为例,微服务架构中的网关Gateway与共享缓存Redis的核心设计的理解都离不开网络I/O。

啾啾头号大粉丝打工买粮博客 1140

异步通知I/O模型和重叠I/O模型

理解异步通知I/O模型 select函数,实现并发服务器端的方法之一 理解同步和异步 异步指“不一致”,他在数据I/O中非常有用。send&recv函数可以进行同步I/O,调用send函数,完成数据传输后才能从函数返回 ...

lwj的博客 779

网络编程I/O模型

非阻塞IO、fcntl函数、I/O多路复用、select函数、poll函数、并发服务器、循环服务器、

only_write_bug的博客 979

网络I/O模型和netty的模型

五种网络I/O模型分别是阻塞I/O,非阻塞I/O,多路复用I/O,信号驱动I/O,异步I/O,netty使用的是第三种:多路复用I/O,下面我们分别介绍下下面各种I/O。 1:阻塞I/O 这幅图看起来不太友好,特别是对新接触网络编程的新手来说,可能一头雾水,其实这个网络模型的特征就在于发起系统调用的同时,内核空间在等待数据到来,这个时候数据还没准备好,程序会一直阻塞,当数据到来,数据从内核到用户态转变,拷贝数据完成,才把数据返回。这么说可能还不太好理解,那么直接贴代码: try { in

u014274324的专栏 649

阻塞 I/O、非阻塞 I/O、I/O 多路复用和异步 I/O

通过对比可以看出,选择 I/O 模型需权衡并发量、开发复杂度、系统资源等因素。例如,高并发场景下,I/O 多路复用或异步 I/O 更为合适,而简单任务可使用阻塞或非阻塞 I/O。

Black_Silencer的博客 601

I/O模型有哪些?

Java的I/O模型从BIO到AIO,本质是不断优化线程的等待效率:BIO通过线程阻塞应对等待,NIO通过轮询避免阻塞,多路复用通过选择器集中管理等待,AIO则将等待完全交给操作系统。实际开发中,I/O多路复用(NIO)是平衡性能和复杂度的首选(如Netty框架),而BIO适合简单场景,AIO在特定高并发场景下更具优势。选择时需结合业务的并发量、延迟要求和开发成本综合判断。

weixin_43521001的博客 664

I/O模型:应用程序与操作系统内核的交互

I/O模型概念,常见模型类型及模型的选择

xike1024的博客 1256

常见的网络I/O模型及其优缺点分析,涵盖其核心机制和适用场景

理解各模型的机制与适用场景,结合操作系统特性(如Linux的。、Windows的IOCP),可最大化系统性能。

yinjinshui的博客 535
上一篇: 如何写一份高可读性的软件工程设计文档
下一篇: 详谈RDMA技术原理和三种实现方式
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值