IO模型、后端服务器中多路复用的实现机制及系统并发数的设计

最新推荐文章于 2021-01-23 00:10:19 发布
转载 最新推荐文章于 2021-01-23 00:10:19 发布 · 268 阅读 · 0

本文深入解析了服务器端编程中常见的四种IO模型：同步阻塞IO、同步非阻塞IO、IO多路复用及异步IO，并详细介绍了Linux环境下IO多路复用的三种实现机制——select、poll与epoll，以及它们在JavaNIO中的应用。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

IO模型、现有组件应用实践方式总结

参考博文：https://blog.youkuaiyun.com/baixiaoshi/article/details/48708347

1、服务器端编程经常需要构造高性能的IO模型，常见的IO模型有四种：

（1）同步阻塞IO（Blocking IO）：即传统的IO模型。
（2）同步非阻塞IO（Non-blocking IO）：默认创建的socket都是阻塞的，非阻塞IO要求socket被设置为NONBLOCK。注意这里所说的NIO并非Java的NIO（New IO）库。
（3）IO多路复用（IO Multiplexing）：即经典的Reactor设计模式，有时也称为异步阻塞IO，Java中的Selector和Linux中的epoll都是这种模型。
（4）异步IO（Asynchronous IO）：即经典的Proactor设计模式，也称为异步非阻塞IO。

2、Linux的IO多路复用
https://blog.youkuaiyun.com/davidsguo008/article/details/73556811
https://blog.youkuaiyun.com/xx_yTm/article/details/54801977

Linux多路复用三种实现机制：select、poll、epoll，JavaNIO的selector是基于epoll实现的。

3、如何评估设计测试一个系统的并发数
个人想法，有待进一步搜集资料：确定一个进程的并发数，需要开多少个进程，进程间如何负载均衡

chenpei1990
关注
Linux网络编程：IO模型，IO多路复用思想
qq_38872537的博客
01-22 1260
I/O部分详解以及代码实现 参考书籍《后台开发 核心技术与应用实践》《Linux高性能服务器编程》 《APUE》 之前唠到了socket，唠到了怎么建立连接。 这篇文章就唠一下，怎么向socket中写数据，怎么从socket中读出数据 ...
nginx 多进程 + io多路复用 实现高并发
Linuxhus的博客
01-22 2301
一、nginx 高并发原理 简单介绍：nginx 采用的是多进程（单线程） + io多路复用(epoll)模型 实现高并发 二、nginx 多进程 启动nginx 解析初始化配置文件后会 创建（fork）一个master进程 之后 这个进程会退出 master 进程会 变为孤儿进程 由init进程托管。（可以通过python 或php 启动后创建子进程,然后杀死父进程得见子进程会由init进程托管） 如下图可以看到nginx master 进程由init（ppid 为1 ）进程管理。 .
io多路复用c语言版简单http服务器demo
07-24
使用C语言实现的io多路复用http服务器的一个简单例子，可以显示简单的图片文字等，内含makefile,所用到的图片和html,编译运行即可
多路复用实现单服百万级别RPS吞吐
weixin_34292959的博客
10-22 271
为什么80%的码农都做不了架构师？>>> ...
网络socket编程实现并发服务器——IO多路复用
Mastema
03-25 1783
IO多路复用
如何提升并发能力 和 IO 多路复用及实现
晓康的博客
08-06 674
1.五种 IO 模型 Unix网络编程中提到了5种网络模型 Blocking IO 阻塞式IO，一次只能处理一个请求。 Noblocking IO 非阻塞式IO IO multiplexing IO多路复用（高并发框架使用） Signal Driven IO 信号驱动的IO Asynchronous IO 异步IO 2.如何提升并发能力 如何提升服务器的并发能力呢？就是如何...
IO多路复用服务器模型
lovehere33的专栏
07-02 630
【Python Socket多路复用技术】：IO模型详解与应用实例
传统的单线程IO模型难以满足大规模网络应用的需求，这导致了多路复用技术的产生和发展。Python通过其内置的`socket`模块，支持多种多路复用技术，如`select`、`poll`和`epoll`，这些技术允许一个线程同时处理多个...
libevent中的IO多路复用技术深入解析
IO多路复用技术的核心原理是利用操作系统内核提供的事件通知机制，使得应用程序可以同时监视多个IO事件，但只需要在一个线程中进行IO操作，从而减少了线程上下文切换的开销，提高了并发处理的效率。 ## 1.2 IO多路...
后端开发基础知识整理JAVA、JVM、操作系统、网络、设计模式、mysql、redis、多线程、spring、springboo
03-09
- **NIO**：非阻塞IO，支持多路复用。 - **AIO**：异步非阻塞IO，真正的异步IO，效率更高。 - **反射**：运行时动态获取类的信息并操作类对象的技术。 - **String类型的三个特性**：不可变性、池化机制、序列化...
并发编程多路复用的理解
snoweaglelord的博客
08-15 699
多路复用 先引用一点来自计算机网络的解释 数据通信系统或计算机网络系统中，传输媒体的带宽或容量往往会大于传输单一信号的需求，为了有效地利用通信线路,希望一个信道同时传输多路信号，这就是所谓的多路复用技术(Multiplexing)。采用多路复用技术能把多个信号组合起来在一条物理信道上进行传输，在远距离传输时可大大节省电缆的安装和维护费用。 生活中的例子 我们知道七色光可以聚合成白光，而白光又...
Linux云计算——KVM虚拟化、后端复用、virsh命令、快速搭建虚拟机
Lyu-Study
11-13 1423
显示英文版本帮助 LANG=en_US.UTF-8 命令 --help 显示中文版本帮助 LANG=zh_CN.UTF-8 命令 --help 虚拟化     定义： 把一个或者多个物理资源转换成一个或者多个逻辑资源，这些逻辑资源就可以用来创建虚拟机     详细解释： 可以一个物理机中创建多个虚拟机，也可以多个物理机转换成一个虚拟机，但是因为网络速度远远打不到CPU的运行速度，所以一...
浅谈Web服务前端和后端程序共享复用
_
01-23 557
一、共享复用技术栈 1.JavaScript 组合 Nodejs 天然支持，底层v8编译引擎，支持代码复用 2.WebAssembly 组合 Rust WebAssembly中的逻辑可以被Rust加载 3.GWT 组合 Java Java Web Toolkit 是 Google 开发的，以 Java 语言为基础，实现 Java 开发 Web 前端应用的技术。 二、共享复用应用场景 2.1在线文档协作 冲突解决合并 2.2数据可视化 数据展示产物导出 ...
高性能IO模型浅析
weixin_34331102的博客
11-14 1393
高性能IO模型浅析 服务器端编程经常需要构造高性能的IO模型，常见的IO模型有四种：（1）同步阻塞IO（Blocking IO）：即传统的IO模型。（2）同步非阻塞IO（Non-blocking IO）：默认创建的socket都是阻塞的，非阻塞IO要求socket被设置为NONBLOCK。注意这里所说的NIO并非Java的NIO（New IO）库。（3）IO多路复用（IO Multiplexing...
高性能网络编程5--IO复用与并发编程
iteye_10227的博客
12-04 702
对于服务器的并发处理能力，我们需要的是：每一毫秒服务器都能及时处理这一毫秒内收到的数百个不同TCP连接上的报文，与此同时，可能服务器上还有数以十万计的最近几秒没有收发任何报文的相对不活跃连接。同时处理多个并行发生事件的连接，简称为并发；同时处理万计、十万计的连接，则是高并发。服务器的并发编程所追求的就是处理的并发连接数目无限大，同时维持着高效率使用CPU等资源，直至物理资源首先耗尽。 并发编程...
I/O多路复用服务器编程
Skycrab
12-13 4370
<!-- @page {margin-left:1.25in; margin-right:1.25in; margin-top:0.59in; margin-bottom:0.69in} h1 {margin-top:0.24in; margin-bottom:0.23in; line-height:200%; page-break-inside:avoid}
IO多路复用并发服务器
blubluhao的博客
12-19 849
服务器调用select函数检测两种不同类型的输入事件 1、新的客户端请求到达，此时监听描述符准备好可以读了 2、一个已存在的客户端的已连接描述符准备好可以读了#include <iostream> #include <unistd.h> #include <sys/socket.h> #include <netdb.h> #include <sys/select.h> ssize_t rio_w
Linux IO多路复用之epoll网络编程(含源码)
weixin_33948416的博客
01-17 351
前言 本章节是用基本的Linux基本函数加上epoll调用编写一个完整的服务器和客户端例子，可在Linux上运行，客户端和服务端的功能如下: 客户端从标准输入读入一行，发送到服务端 服务端从网络读取一行，然后输出到客户端 客户端收到服务端的响应，输出这一行到标准输出   服务端 代码如下: #include &lt;unistd.h&gt;#include &lt;sys/...
Linux并发服务器编程之IO多路复用
年轻人，潜力无限！
12-21 4351
五种IO模型  首先提出问题，Linux系统调用是如何完成一个I/O操作？   Linux系统将内存分为内核区和用户区，Linux内核给管理所有的硬件资源，应用程序通过系统调用与内核交互，达到使用硬件资源的目的。例如，应用程序通过系统调用read对文件描述符fd发起一个读操作，这时候内核通过驱动程序向硬件发送读指令，并将读到的数据放在这个fd对应结构体的缓存区中，但这个结构体是在内核内存区的，需要
多线程，多进程，IO多路复用的web server(端口80)承载附件的web。对比这三种实现方式各自的优缺点。
最新发布
08-08
<think>我们分析多线程、多进程和IO多路复用三种方式实现Web服务器（端口80）承载附件服务的优缺点。注意，这里的“附件”可能指文件上传/下载，因此I/O操作是重点。 1. 多进程（Multi-Process）： - 每个请求由一个独立的进程处理。 - 优点： - 进程间相互隔离，一个进程崩溃不会影响其他进程，稳定性高。 - 编程模型简单，类似于单线程程序。 - 缺点： - 进程创建和销毁的开销大，资源占用多（每个进程有独立的内存空间、文件描述符等）。 - 进程间通信（IPC）复杂且开销大。 - 扩展性较差，当并发连接数很高时，进程数过多会导致系统资源（如进程ID、内存）耗尽。 - 不适合需要共享大量数据的场景（因为进程间共享数据需要通过IPC，效率低）。 2. 多线程（Multi-Threading）： - 每个请求由一个独立的线程处理，线程共享进程的内存空间。 - 优点： - 线程创建和切换的开销比进程小，资源占用相对较少（共享内存，但每个线程有自己的栈）。 - 线程间通信方便（通过共享内存）。 - 可以充分利用多核CPU。 - 缺点： - 线程间缺乏隔离，一个线程崩溃可能导致整个进程崩溃。 - 需要处理复杂的线程同步问题（如锁、死锁），编程难度大。 - 当线程数量很大时，线程切换开销增大，且可能因资源竞争导致性能下降。 - 每个线程的栈空间会占用一定内存，高并发时内存消耗仍然较大。 3. I/O多路复用（I/O Multiplexing）： - 单个线程（或少量线程）通过事件循环管理多个I/O操作（如select, poll, epoll, kqueue等）。 - 优点： - 资源占用极低，单线程可处理大量并发连接（如C10K问题）。 - 没有进程/线程创建和切换的开销，性能高。 - 事件驱动模型，避免了同步问题（因为通常是单线程，或者多线程中每个线程独立处理事件）。 - 缺点： - 编程模型复杂，需要异步非阻塞I/O，代码逻辑被拆分成多个回调，难以理解和维护（但现代async/await语法有所改善）。 - 无法充分利用多核CPU，除非使用多进程（如Nginx）或多线程（如每个线程一个事件循环）。 - 长时间运行的计算任务会阻塞事件循环，导致整体延迟。 对比总结： | 方式 | 资源占用 | 稳定性 | 编程复杂度 | 扩展性（高并发） | 适用场景 | |--------------|----------|--------|------------|------------------|----------| | 多进程 | 高 | 高 | 低 | 差（进程数限制） | 低并发、要求隔离的场景 | | 多线程 | 中 | 中 | 中（需同步）| 中（线程数限制） | 中并发、需要共享数据 | | I/O多路复用 | 低 | 高 | 高 | 优（可处理数万连接） | 高并发、I/O密集型 | 实际应用中，常常结合使用： - 例如，使用多进程+多线程（如Apache的MPM模式）来平衡。 - 或者使用多进程+I/O多路复用（如Nginx：一个master进程和多个worker进程，每个worker使用I/O多路复用）。 对于承载附件的Web服务器，由于涉及大量I/O操作（文件读取、网络传输），I/O多路复用模型在性能上具有明显优势，尤其在高并发场景。但要注意，文件I/O在某些系统上可能不支持非阻塞模式，因此通常使用线程池来处理文件操作以避免阻塞事件循环（如Node.js的worker_threads）。 因此，现代高性能Web服务器通常采用I/O多路复用模型（如Node.js, Tornado, Nginx）或结合线程池处理阻塞操作（如Java NIO, Python asyncio + 线程池）。</think>### 多线程、多进程与I/O多路复用Web服务器对比分析 #### 1. 多进程实现（如Apache prefork模式） ```c // 伪代码示例：主进程fork子进程处理请求 int main() { listen(80); // 监听80端口 while(1) { client_fd = accept(); if (fork() == 0) { // 子进程 handle_request(client_fd); // 处理请求（含附件传输） close(client_fd); exit(0); } } } ``` **优点：** - ✅ 进程隔离：单个进程崩溃不影响整体服务 - ✅ 编程简单：无需处理线程同步问题 - ✅ 资源独占：每个进程独立内存空间，避免内存泄漏累积 **缺点：** - ❌ 高资源消耗：每个连接需复制完整内存空间（典型进程开销≥10MB） - ❌ 上下文切换慢：进程切换开销比线程高10-100倍 - ❌ 扩展性差：受限于操作系统进程数限制（通常≤1024） --- #### 2. 多线程实现（如Tomcat） ```java // Java伪代码：线程池处理请求 ExecutorService pool = Executors.newFixedThreadPool(100); while (true) { Socket client = serverSocket.accept(); pool.execute(() -> { handleRequest(client); // 处理附件上传/下载 client.close(); }); } ``` **优点：** - ✅ 资源共享：线程共享进程内存，降低内存消耗 - ✅ 切换高效：线程上下文切换开销小（约1μs） - ✅ 适合计算密集型：可充分利用多核CPU **缺点：** - ❌ 线程同步复杂：需使用锁/信号量管理共享资源 - ❌ 稳定性风险：单线程崩溃可能导致整个进程退出 - ❌ 阻塞问题：线程阻塞在I/O时仍占用系统资源 - ❌ 扩展限制：线程数超过CPU核心数时性能急剧下降 --- #### 3. I/O多路复用（如Nginx/Node.js） ```python # Python伪代码：epoll实现 epoll = select.epoll() epoll.register(server_fd, EPOLLIN) while True: events = epoll.poll() for fd, event in events: if fd == server_fd: client_fd = accept() epoll.register(client_fd, EPOLLIN|EPOLLET) # 边缘触发 else: if event & EPOLLIN: receive_attachment(fd) # 异步接收附件 if event & EPOLLOUT: send_file(fd) # 零拷贝发送文件 ``` **优点：** - ✅ 超高并发：单线程可处理10万+连接（如C10M问题） - ✅ 资源高效：内存占用固定（约2MB/万连接） - ✅ 无锁编程：避免线程同步问题 - ✅ 最佳I/O性能：支持零拷贝文件传输（sendfile） **缺点：** - ❌ 编程复杂：回调地狱（可用async/await缓解） - ❌ CPU密集型短板：大量计算会阻塞事件循环 - ❌ 调试困难：异步堆栈跟踪复杂 --- ### 关键指标对比 | 指标 | 多进程 | 多线程 | I/O多路复用 | |---------------------|--------------|---------------|----------------| | 连接上限 | 1K-10K | 10K-100K | 100K-10M | | 内存开销/连接 | ≥10MB | 0.5-2MB | 2-10KB | | 上下文切换开销 | 高 (μs级) | 中 (百ns级) | 极低 (事件触发)| | 文件传输效率 | 一般 | 良好 | 最优 (零拷贝) | | 崩溃影响范围 | 单个连接 | 整个服务 | 单线程实例 | | 适用场景 | 低并发稳定系统| 计算密集型应用 | 高并发I/O服务 | --- ### 实际应用建议 1. **静态附件服务**：优先选择I/O多路复用（Nginx） 2. **动态内容处理**：多线程+异步I/O（如Java Netty） 3. **超高可靠性需求**：多进程+监控重启（如Apache） 4. **混合架构**：前端Nginx（I/O复用） + 后端App多线程 > 📌 附件传输优化：所有模式都应使用`sendfile()`系统调用避免内核-用户空间数据拷贝 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值