后端服务器网络编程之 IO 模型

Linux后端服务器网络编程之线程模型丨reactor模型详解 前言   上一篇文章《后端服务器网络编程之 IO 模型》中讲到服务器端高性能网络编程的核心在于架构,而架构的核心在于进程/线程模型的选择。本文将主要介绍传统的和目前流行的进程/线程模型,在讲进程/线程模型之前需要先介绍一种设计模式: Reactor 模式,不明白的看这里《Reactor 模式详解》,文中有一句话对 Reactor 模式总结的很好,引用下。 对Reactor 模式还不了解的朋友可以看看这个视频讲解:详解网络编程相关的细节处理丨 reactor模型 Reactor 模式首先是事件驱动的, 阅读详情

基本概念

  在编写服务器端网络程序时,我们最常见到阻塞、非阻塞、同步和异步这四个词。它们的解释分别如下:

  • 阻塞: 阻塞调用是指调用返回之前,当前线程会被挂起,只有当调用得到结果后才返回。

  • 非阻塞:与阻塞相反,非阻塞调用是指在不能立即得到结果之前,该函数不会将当前线程阻塞,而是立即返回。

  • 同步:所谓同步,就是在发出一个功能调用时,在没有得到结果之前,该调用就不返回。等前一件做完了才能做下一件事。

  • 异步:异步的概念和同步相对。当一个异步过程调用发出后,调用者不能立刻得到结果。实际处理这个调用的部件在完成后,通过状态、通知和回调来通知调用者。

  常常有人弄不清阻塞/非阻塞与同步/异步之间的关系,容易将他们混为一谈。阻塞/非阻塞更多的用来形容某次调用的属性(比如 read(),write() 是否是阻塞/非阻塞 )所以应用范围比较窄;而同步/异步则更上层,通常指各个功能/线程之间的关系(比如 Thread1 和 Thread2 是同步执行还是异步执行)。

五种 IO 模型

  服务器端 IO 主要分为两种:磁盘 IO 和网络 IO,在讲服务器端高性能网络编程时更多时候我们讲的是网络 IO 模型。一次完整的服务器端处理网络请求流程图如下(简化版,以 Web 服务器为例):

  这张图比较简单,但是很多人在没看到这张图之前肯定都以为每次网络读(recvfrom())或者写(sendto())都是在网卡与用户进程之间进行操作,其实不是。从上图可以看出,数据无论从网卡到用户空间还是从用户空间到网卡都需要经过内核。从磁盘上读写数据也是如此。所以就有了 mmap 技术,感兴趣的可以自行百度。应用进程(Web 服务器也属于应用进程,这里需要再统一几个概念:用户进程、应用程序、Web 服务器程序,它们相对于内核来说都是应用进程,所以后面文章中统一成应用进程)需要通过系统调用(例如recvfrom/sendto)向内核读写数据,内核再进一步操作网卡。

  根据应用进程系统调用方式的阻塞、非阻塞,操作系统在处理应用程序请求时处理方式的同步、异步处理的不同,参考《UNIX 网络编程卷 I》可以分为 5 种 IO 模型:

1、阻塞 IO 模型(blocking IO)

 

  描述:应用程序进行 recvfrom 系统调用时将阻塞在此调用,直到该套接字上有数据并且复制到用户空间缓冲区。该模式一般配合多线程使用,应用进程每接收一个连接,为此连接创建一个线程来处理该连接上的读写以及业务处理。

  优点:编程简单,适合教学。《UNIX网络编程卷I》上很多例子都是基于这种模式。   缺点:如果套接字上没有数据,进程将一直阻塞。这时其他套接字上有数据也不能进行及时处理。如果是多线程方式,除非连接关闭否则线程会一直存在,而线程的创建、维护和销毁非常消耗资源,所以能建立的连接数量非常有限。

2、非阻塞 IO 模型(nonblocking IO)

  描述:应用进程每次调用 recvfrom 即使没有数据准备好也不会阻塞,会继续往下执行,避免了进程阻塞在某个连接上的弊端。

  优点:代码编写相对简单,进程不会阻塞,可以在同一线程中处理所有连接。

  缺点:需要频繁的轮询,比较耗CPU,在并发量很大的时候将花费大量时间在没有任何数据的连接上轮询。所以该模型只在专门提供某种功能的系统中才会出现。

分享更多关于 Linux后端开发网络底层原理知识学习提升 点击 学习资料 获取,完善技术栈,内容知识点包括Linux,Nginx,ZeroMQ,MySQL,Redis,线程池,MongoDB,ZK,Linux内核,CDN,P2P,epoll,Docker,TCP/IP,协程,DPDK等等。

3、IO 复用模型(IO multiplexing)

 

  描述:应用进程阻塞于 select/poll/epoll 等系统函数等待某个连接变成可读(有数据过来),再调用 recvfrom 从连接上读取数据。虽然此模式也会阻塞在 select/poll/epoll 上,但与阻塞IO 模型不同它阻塞在等待多个连接上有读(写)事件的发生,明显提高了效率且增加了单线程/单进程中并行处理多连接的可能。

  优点:统一管理连接,不一定采用多线程的方式,同时也不需要轮询。只需要阻塞于 select 即可,可以同时管理多个连接。

  缺点:当 select/poll/epoll 管理的连接数过少时,这种模型将退化成阻塞 IO 模型。并且还多了一次系统调用:一次 select/poll/epoll 一次 recvfrom。

4、信号驱动 IO 模型(signal-driven IO)

  描述:应用进程创建 SIGIO 信号处理程序,此程序可处理连接上数据的读写和业务处理。并向操作系统安装此信号,进程可以往下执行。当内核数据准备好会向应用进程发送信号,触发信号处理程序的执行。再在信号处理程序中进行 recvfrom 和业务处理。

  优点:非阻塞

  缺点:在前一个通知信号没被处理的情况下,后一个信号来了也不能被处理。所以在信号量大的时候会导致后面的信号不能被及时感知。

5、异步 IO 模型(asynchronous IO)

 

  描述:应用进程通过 aio_read 告知内核启动某个操作,并且在整个操作完成之后再通知应用进程,包括把数据从内核空间拷贝到用户空间。信号驱动 IO 是内核通知我们何时可以启动一个 IO 操作,而异步 IO 模型是由内核通知我们 IO 操作何时完成。

注:前 4 种模型都是带有阻塞部分的,有的阻塞在等待数据准备好,有的阻塞在从内核空间拷贝数据到用户空间。而这种模型应用进程从调用 aio_read 到数据被拷贝到用户空间,不用任何阻塞,所以该种模式叫异步 IO 模型。这五种模型的取名和并列方式我是保留意见的,感觉容易迷惑读者。

  优点:没有任何阻塞,充分利用系统内核将 IO 操作与计算逻辑并行。

  缺点:编程复杂、操作系统支持不好。目前只有 windows 下的 iocp 实现了真正的 AIO。linux 下在 2.6 版本中才引入,目前并不完善,所以 Linux 下一般采用多路复用模型。

各 IO 模型对比

  前四种模型的主要区别于第一阶段,因为他们的第二阶段都是一样的:在数据从内核拷贝到应用进程的缓冲区期间,进程阻塞于 recvfrom 调用。相反,异步 IO 模型在这两个阶段都需要处理,从而不同于其他四种模型。

  以上图片所有原型都来自于《UNIX网络编程卷 I》,里面有很多跟网络编程有关的知识点和例子,是程序员必备书籍,即使你是业务程序员也应该购买一本,知其然,知其所以然!

总结

  JDK 的网络编程相关的类、接口虽然不像 C++ 是直接依赖于操作系统的,但它的 IO 模型是离不开以上五种模型的。毕竟这是模型,与语言、操作系统无关。 IO 模型只是高性能网络编程中的基础部分,光有好的 IO 模型还不行,我们还需要好的架构(线程模型)。线程模型是高性能网络编程的核心部分。

linux网络编程—7层网络以及5种Linux IO模型以及相应IO基础 一、七层网络模型   OSI是Open System Interconnection的缩写,意为开放式系统互联。国际标准化组织(ISO)制定了OSI模型,该模型定义了不同计算机互联的标准,它是一个七层的、抽象的模型体。 文章相关视频讲解: 详解网络编程细节点击:90分钟详解网络编程相关的细节处理 详解底层网络IO模型点击: 底层网络IO模型,必须要懂得10种模型 腾讯认证T9后端开发岗位,linux服务器开发高级架构师系统学习视频点击:C/C++Linux服务器开发高级架构师/Linux后 阅读详情

相关推荐

IO服务器模型介绍

异步服务器模型,异步选择服务器模型等介绍,学习资料!

几种服务器端IO模型的简单介绍及实现

一些概念: 同步和异步 同步和异步是针对应用程序和内核的交互而言的,同步指的是用户进程触发I/O操作并等待或者轮询的去查看I/O操作是否就绪,而异步是指用户进程触发I/O操作以后便开始做自己的事情,而当I/O操作已经完成的时候会得到I/O完成的通知。 阻塞和非阻塞 阻塞和非阻塞是针对于进程在访问数据的时候,根据I/O操作的就绪状态来采取的不同方式,说白了是一种读取或者写入操作函数的实现方式...

weixin_33909059的博客 344

7 series FPGAs Transceiver Wizard IP核使用和测试

学习FPGA一段时间了,前面一直没有系统的总结,这学期把在项目中用到的IP核和一些调试过程中遇到的问题总结一下发出来,坚持下去,一起进步! 今天总结一下的GTH核的使用和测试。 软件版本:Vivado 2017.4 IP核版本:7 Series FPGAs Transceivers Wizard (3.6) FPGA:xc7vx690tfft1927 实现功能: 四路光纤数据接收,由于GTX IP...

qq_39921762的博客 1万+

常见IO模型(非常详细)

阻塞IO、⾮阻塞IO、IO多路复⽤、信号驱动IO的主要区别在于对阶段1(等待数据准备好)的处理;对于阶段2(内核拷⻉数据到进程)的处理⽅式是⼀致的,都是同步等待数据拷⻉完成;因⽽这4种IO模型均属于同步IO模型;⽽异步IO模型,针对阶段1、阶段2都会进⾏处理,在⽤户进程看来,所进⾏的IO操作的2个阶段都不会block 进程的运⾏;

热爱数据库的小胖 909

使用DeepSeek、MCP和AKShare实现智能金融问答系统技术方案

DeepSeek是由深度求索公司开发的大规模语言模型,最新版本DeepSeek-V3采用混合专家(MoE)架构,拥有671B参数,激活37B参数,在多项基准测试中表现优异3。要使用DeepSeek的API服务:访问DeepSeek平台注册账号获取API Key(形如AKShare是基于Python的金融数据接口库,提供股票、基金、期货、宏观经济等领域的海量数据。主要特点包括:免费开源,数据源丰富支持多种数据格式(DataFrame/JSON)持续更新维护安装命令。

Kin 3174

电路方案分析(十二)USB Type-C PD 移动电源参考设计方案

TPD8S300为USB Type-C连接器的CC1,CC2,SBU1和SBU2引脚集成了四个通道的20v短到vbus和过压保护。TPD8S300集成了八个IEC61000-4-2ESD保护通道,用于USB Type-C连接器的CC1、CC2、SBU1、SBU2、DP_T (顶侧D-) 、DM_T (顶侧D-) 、DP_B (底侧D-) 引脚。当电源组是接收器并为其自身的电池充电时,该芯片会对电池充电,而在电源模式期间,该芯片充当DC-DC转换器以生成VBUS。

小幽余生不加糖 2万+

MUDUO-概述

典型的一次IO的两个阶段是什么?数据准备 和 数据读写数据准备:根据系统IO操作的就绪状态阻塞非阻塞数据读写:根据应用程序和内核的交互方式同步异步一个典型的网络IO接口调用,分为两个阶段,分别是“数据就绪”和“数据读写”,数据就绪阶段分为和,表现得结果就是,阻塞当前线程或是直接返回。表示A向B请求调用一个网络IO接口时(或者调用某个业务逻辑API接口时),数据的读写都 是由请求方A自己来完成的(不管是阻塞还是非阻塞);

weixin_45084090的博客 307

Windows 11 部署 Docker Desktop:从 WSL 报错到服务配置的完整排障实录

本文详细记录了在Windows 11上部署Docker Desktop时遇到的WSL报错问题及完整解决方案。从Hyper-V配置、BIOS设置到系统服务检查,提供了一系列实用命令和排查步骤,帮助开发者快速解决'Unexpecter WSL error'等常见问题,实现Docker与WSL2的稳定运行。

weixin_30687051的博客 123

Linux的IO模型介绍和服务器模型介绍

IO模型的简单介绍以及特点分析,服务器模型的介绍,推荐使用epoll机制来实现并发服务器

qq_48639334的博客 564

AIDD-人工智能药物设计-构建基于机器学习方法的在线预测平台高准确预测药物诱导骨毒性

在此基础上,提取多种药物分子特征,包括分子指纹(如MACCS、Morgan、RDKit、TopologicalTorsion、AtomPairs与Descriptors)及分子图谱,通过Transformer编码器与神经网络进行机器学习模型训练。最后,将训练好的模型部署为在线Web服务器(BoneToxPD),供用户快速预测药物的骨毒性。本研究不仅在骨毒性预测的准确性方面取得了突破,还在模型解释性方面提供了新的视角,通过注意力机制精准识别出影响骨毒性的关键化学基团,推动药物研发领域更安全、更高效的发展。

itwangyang520的博客 1083

Android中的Service:Binder,Messenger,AIDL(2)

前言前面一篇博文介绍了关于Service的一些基本知识,包括service是什么,怎么创建一个service,创建了一个service之后如何启动它等等。在这一篇博文里有一些需要前一篇铺垫的东西,建议没有看过前一篇博文的同学先去看一下前一篇: Android中的Service:默默的奉献者 (1) 。但是在前一篇博文中也有一些遗漏的东西——主要是关于bindService()这一块的具体细节。由于这

lypeer的专栏 5万+

四种主要的IO模型

在说IO前,我们来看一下操作系统进行读写的流程例如:Java客户端通过write系统调用将数据从用户缓冲区复制到内核缓存区,内核通过客户机网卡将数据发送出去;服务器通过网卡接收数据至内核缓冲区,Java用户程序通过read系统调用将内核缓冲区中的数据读取至Java进程缓冲区这是一个典型的系统调用流程对于服务器IO编程来讲,常见的IO模型有4种1. 同步阻塞IOBlocking IO是指用户空间主动发起,需要等内核IO完成后才返回用户空间的IO操作,IO过程中用户进程处于阻塞状态优点:应用程序开发简单缺点:需

z3191595的博客 2603

三维空间刚体运动4-3:四元数线性插值方法:Squad

摘要:四元数插值三个方法Slerp、Squad和Spring既复杂又很重要,为了详细阐述,故每个方法独立成一篇博文讲解,没有插值的四元数是没有灵魂的,插值的重要性不言而喻。Slerp是经典的两点间一阶连续可导插值方法,Squad方法在Slerp的基础上实现多点间的一阶连续可导,而Spring则可以实现多点间的二阶连续可导,更适合复杂的曲线,此系列博文也是国内首篇介绍Spring的中文资料。

shao918516的博客 9217

网络编程学习路线:CSGuide从Socket到高性能服务器开发

网络编程是计算机科学领域的核心技能之一,它是实现客户端与服务器通信的基础,也是构建高性能后端系统的关键。CSGuide项目提供了从Socket编程基础到高性能服务器开发的完整学习路径,帮助新手循序渐进掌握网络编程的核心技术和实践经验。 ## 一、网络编程基础入门 ### 1.1 什么是网络编程? 网络编程本质上就是Socket编程,任何编程语言都提供了相应的Socket API。通过这些AP

gitblog_00830的博客 609

PyQt5自动化测试,让测试更加便利

PyQt5是一个Python的GUI编程工具包,帮助开发者可以更加简单、快捷地创建图形界面和处理用户输入。在PyQt5中有两种常见的测试方式:手动测试和自动化测试。手动测试需要通过点击、输入等交互操作进行测试,自动化测试则是通过程序模拟鼠标、键盘等操作进行测试。这段代码创建了一个简单的窗口,其中包含一个按钮。这段代码打开一个本地HTML文件,点击页面上的按钮并检查输出是否为“Button clicked”。以上就是在PyQt5中进行自动化测试的简单示例。使用PyQt5可以大大简化测试过程,提高测试效率。

PixelCoder的博客 711

SAP B1中文培訓教材_SDK

公司内部培训资料,对开发工具 ,DIAPI, UIAPI,Add-ON有详细解说

Java网络编程IO模型 --- BIO、NIO、AIO详解

通俗易懂详解 -- Java网络编程IO模型 BIO、NIO、AIO

wanghuichen的博客 3927

IMSL CNL 7.0.0 (x86-64)Crack

IMSL CNL 7.0.0 (x86-64)Crack intel的算法库破解文件,这是C++版本的破解文件

网络编程(一):网络编程和网络io的基本概念

网络I/O(Input/Output)是指在计算机系统中,程序通过网络接口与其他计算机或设备进行数据交换的过程。它是计算机系统中输入和输出操作的一部分,特别是在涉及网络通信的场景下,数据的发送和接收都属于网络I/O操作。输入(Input):程序从网络接收数据的过程。例如,客户端从服务器接收请求响应,或者从远程数据库中查询数据。输出(Output):程序通过网络发送数据的过程。例如,客户端向服务器发送请求,或者应用程序向其他设备发送数据。

qq_75158598的博客 1069

IEM模型,地表粗糙度模拟

利用微波反演土壤水分时候,利用IEM模型可以实现对随机地表的模拟

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

网络IO模型+网络编程学习

概念学习 网络编程中有5种IO模型 阻塞 IO 模型(Blocking IO) 非阻塞 IO 模型(Nonblocking IO) IO 复用模型(IO multiplexing) 信号驱动 IO 模型(signal-driven IO) 异步 IO 模型(Asynchronous IO) 参考后端服务器网络编程之 IO 模型 - 知乎 ...

qq6304403348的博客 156

五种IO模型:阻塞IO和非阻塞IO、同步IO和异步IO

重点参考下面文章: 聊聊同步、异步、阻塞与非阻塞 聊聊Linux 五种IO模型 5种IO模型、阻塞IO和非阻塞IO、同步IO和异步IO 看了一些文章,发现有很多不同的理解,可能是因为大家入切的角度、环境不一样。所以,我们先说明基本的IO操作及环境。 本文是在《UNIX网络编程 卷1:套接字联网API》6.2节"I/O 模型 "的基础上,即UNIX/LINUX环境下的网络 IO环境下的理解,它里面给出的例子是读取(接收)网络UDP数据。下面简单写写自己对这些IO模型的理解。 1、IO IO (Input/Ou

qq_33898609的博客 2129

理解一下5种IO模型、阻塞IO和非阻塞IO、同步IO和异步IO

5种IO模型、阻塞IO和非阻塞IO、同步IO和异步IO 看了一些文章,发现有很多不同的理解,可能是因为大家入切的角度、环境不一样。所以,我们先说明基本的IO操作及环境。 本文是在《UNIX网络编程 卷1:套接字联网API》6.2节"I/O 模型 "的基础上,即UNIX/LINUX环境下的网络 IO环境下的理解,它里面给出的例子是读取(接收)网络UDP数据。下面简单写写自己对这些IO模型的理解。 1、IO IO (Input/Output,输入/输出)即数据的读取(接收)或写入(发送)操.

hellozhxy的博客 287

【Linux】五种IO模型与非阻塞IO

本文系统梳理了 Linux 五种经典 IO 模型(阻塞/非阻塞/多路复用/信号驱动/异步IO),重点对比了它们的阻塞特性和性能差异。文章指出,现代高并发场景中,单纯非阻塞IO已很少使用,主流方案是"非阻塞+epoll"或"非阻塞+io_uring"。通过表格和口诀总结了各模型特点,并纠正了非阻塞IO的错误用法。最后给出了2025-2026年各模型的实际使用占比,其中epoll占70-80%,io_uring快速崛起占10-20%,为开发者提供了清晰的选型指导。

likuolei的博客 561

操作系统IO模型

服务端:Channel(通道)、Buffer(缓冲区)、Selector(选择器/多路复用器)什么是Channelcapacity:缓冲区可以容纳的元素的最大数量limit:停止读写的索引position:当前要读或者写的索引,读写操作是从position开始,到limit停止mark:用于标记position的位置,默认为-1。

Sudo_Wang的学习记录 1123

Java 网络编程核心:BIO、NIO、AIO IO 模型深度解析与实战

Java网络编程IO模型解析:BIO、NIO与AIO 摘要:本文深入解析Java网络编程中的三种IO模型。BIO(同步阻塞IO)采用一连接一线程模式,编程简单但性能受限;NIO(同步非阻塞IO)通过Selector多路复用器实现单线程处理多连接,大幅提升并发能力;AIO(异步非阻塞IO)采用回调机制实现真正的异步处理。文章从Socket基础入手,详细对比了三者的核心原理、适用场景与性能差异,并提供了可直接运行的代码示例。通过学习,读者可掌握根据业务需求(连接数、实时性等)选择合适IO模型的能力,为构建高性能

qq_43843951的博客 1117

【Linux】高并发服务器的起点:五种 IO 模型与非阻塞 IO 本质解析

本文深入解析五种IO模型及其本质区别,通过钓鱼类比生动阐述阻塞IO、非阻塞IO、信号驱动IO、IO多路复用和异步IO的特点。重点指出IO操作包含"等待数据就绪"和"数据拷贝"两个阶段,高效IO的核心在于减少等待时间。文章还澄清了同步/异步、阻塞/非阻塞等易混淆概念,并提供了非阻塞IO的实现方法,为后续学习多路复用技术(select/poll/epoll)奠定基础。通过表格对比五种模型的适用场景,指出IO多路复用是高并发服务器的首选方案。

半截诗的博客~ 1301

网络编程基础-IO模型深入理解

什么是IO?I/O就是计算机内存与外部设备之间拷贝数据的过程什么是网络IO?网络IO是指在计算机网络环境中进行的输入和输出操作,涉及数据在网络设备之间的传输。网络IO操作可以是发送请求、接收响应、下载文件、传输数据等。在Java中,网络IO通过java.net包提供的类(如Socket等)来实现网络通信。

qq_46248151的博客 1299

Java NIO(io模型,三大组件,网络编程)

(New I/O,新的输入输出)是 Java 1.4 引入的一套 I/O 库,相比传统的(字节流和字符流),它主要用于处理高效的、非阻塞的 I/O 操作,特别是在需要处理大规模数据或高并发的场景中表现突出。Java NIO 提供了非阻塞模式、内存映射文件、缓冲区等一系列增强功能,适用于现代的高性能应用。

小程xy的博客 2763
上一篇: 后端开发必备——Nginx篇
下一篇: 90分钟详解网络编程相关的细节处理丨 reactor丨网络io丨epoll丨C/C++丨Linux服务器开发丨后端开发丨Linux后台开发
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值