NIO多路复用机制

最新推荐文章于 2025-05-04 18:57:15 发布
最新推荐文章于 2025-05-04 18:57:15 发布
阅读量2.4k 收藏 12
点赞数 1
CC 4.0 BY-SA版权
文章标签： nio
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/wr_java/article/details/114260773

NIO多路复用机制

客户端与服务器每次网络通讯, 会建立一个连接, 创建socket, 以soket为媒介, 发送和接收输入输出流.进行流的读写操作.

介绍下BIO、NIO和AIO

BIO(blocking I/O) 同步阻塞
JDK1.4之前,是面向流传输的, 传输效率慢, 客户端每次发起一个请求, 建立一个连接, 都创建一个socket对象, 不管有没有流的传输, 服务器都创建一个线程, 但有些线程不会执行流的读写操作是无效的. 线程多了会占用过多的资源,浪费堆的内存空间(可以采用线程池去管理线程, 但是如果线程池满的情况下, 再创建新线程会等待空余线程去复用)不适合高并发情况
io的阻塞是针对流是否可以同时读写来说的,stream只是支持单向的读写

NIO (non-blocking I/O)同步非阻塞
组成部分: 通道, 缓冲区, 选择器
JDK1.4开始支持, 引入的面向缓冲区的, 缓冲区buffer支持同时读写操作, 服务器不需要对每个请求都创建线程,
执行流程: 客户端发起请求, 请求通过chanel通道注册到selector连接器上, selector进行while(true)轮询, 当轮询到到有读写操作时,才创建线程. 效率提升.适用连接数量较多,但连接较短的操作, 比如聊天室。
在这里插入图片描述

AIO (Asynchronous I/O) 异步非阻塞

AIO的基本流程是：用户线程通过系统调用，告知kernel内核启动某个IO操作，用户线程返回。kernel内核在整个IO操作（包括数据准备、数据复制）完成后，通知用户程序，用户执行后续的业务操作。

在这里插入图片描述

BIO/NIO/AIO使用场景
并发连接数不多时采用BIO，因为它编程和调试都非常简单，但如果涉及到高并发的情况，应选择NIO或AIO，更好的建议是采用成熟的网络通信框架Netty。

NIO中select、poll 、 epoll模式
文件描述符fd:
在linux中,一切皆文件,fd是非负整数,用来标明每一个被进程所打开的文件
select模式
当客户端发起一个socket请求, 在linux系统下看做一个文件描述符fd, select模式的fd存放bitmap里, 支持fd的大数量是1024。
 

在这里插入图片描述

 

在这里插入图片描述

poll模式
1.相比select, 把fd的bitMap变为了fd的链表,
2.fd的个数上限大于1024个, 但依旧会有用户态和内核态切换的性能问题.
3.依旧存在时间复杂度O(n)的问题, 提升性能不大

epoll模式(基于事件驱动)
在这里插入图片描述

执行过程
1.epoll_create()
创建好请求socket的fd; 准备空间, 在高速cache中生成Map(就那个红黑树) 和 1个List(就那个事件链表)
2. epoll_ctl(epollfd, my_events)
只把有效fd事件(比如:读写等)注册进红黑树, 以便支持快速插入、删除、修改等操作而不用再变遍历 ,然后通过回调函数, 写进事件链表里.
3. epoll_wait(epollfd, ready_events)
检查事件链表中有数据就处理, 没有数据就睡眠.

epoll优点:
1.相比select和poll, epoll获取有效fd的时间复杂度是O(1), epoll每次只扫描事件链表的数据, 直接取符合条件的fd, 所以复杂度O(1)
2.epoll提供高速cache, 共享用户态和内核态, 不需要内核状态之前的切换.

Netty简述

Netty基于NIO的Reactor的多线程模型,
有2个线程, 一个是boss线程,一个是worker线程,
boss线程执行accept方法, 集中接收客户端的请求,建立连接
worker线程负责处理各自IO事件.

 

 

 

 

 

 

 

 

 

 

 

 

wrr-cat
关注
JavaIO流系列之NIO流(多路复用技术)
杰尼龟的小龟壳的博客
05-27 716
NIO是Java提供的一种基于Channel和Buffer的IO操作方式，即：利用内存映射文件方式处理输入和输出。NIO具有更加强大和灵活的IO操作能力，提供了非阻塞IO、多路复用等特性，特别适合需要处理大量连接的网络编程场景在JDK1.4时提出了NIO(New I/O)，在BIO模型(Blocking IO)的基础上，增加了NIO模型(Non-Blocking IO)，即同步非阻塞方式。
第11讲 | Java提供了哪些IO方式？ NIO如何实现多路复用？
qq_37756660的博客
05-14 1069
IO 一直是软件开发中的核心部分之一，伴随着海量数据增长和分布式系统的发展，IO 扩展能力愈发重要。幸运的是，Java 平台 IO 机制经过不断完善，虽然在某些方面仍有不足，但已经在实践中证明了其构建高扩展性应用的能力。今天要问你的问题是，？
NIO的多路复用机制
u013801987的博客
04-29 2867
在一次磁盘操作中，CPU不是瓶颈，瓶颈是内存和网络，IO操作，所以redis是通过在提高CPU的利用上，增加处理速率。 一般提高CPU的利用是通过多线程，一般线程数是cpu核数的2倍，但是redis是通过单线程实现的；一方面是因为多线程存在上下文切换（用户态和内核态的切换）消耗问题，另一方面是因为redis采用IO多路复用机制。 面试时，redis被问到了3次，每一次都是一个惨痛的教训，希望读者朋...
NIO——多路复用
m0_60742341的博客
11-18 937
1、NIO是用来解决高并发、IO高性能的有效方法。NIO就是同步非阻塞，服务器实现模式为一个线程处理多个客户端的连接（BIO是阻塞型的，一个服务端线程只能处理一个客户端发来的连接）。NIO实现这个功能是通过Selector多路复用器。2、NIO中有三个核心的组件，分别是：Channel（通道，常用两种，分别是客户端和服务端的）、Buffer（缓冲区）、Selector（多路复用器）在这张图中1.每个Channel对应一个Buffer。
java笔记--NIO基础--多路复用网络通信
最新发布
lxq6966892的博客
05-04 793
主 Reactor：监听连接，注册到多个子 Reactor。每个 Handler 可以提交任务到线程池，提高并发能力。多个子 Reactor + 工作线程池处理业务。一个线程负责监听 + 分发 + 处理逻辑。
NIO之多路复用
qq_45243783的博客
10-05 2926
一：NIO简介 1） Java BIO :同步并阻塞(传统阻塞型)，服务器实现模式为一个连接一个线程，即客户端有连接请求时服务器端就需要启动一个线程进行处理，如果这个线程不做任何事情就会造成不必要的开销 2） Java NIO: 同步非阻塞，服务器实现模式为一个线程处理多个请求(连接)，即客户端发送的请求都会注册到多路复用器上，多路复用器轮询到连接有I/O请求就进行处理 二、操作系统的几个基本概念 1.内核态和用户态 内核态：cpu可以访问内存的所有数据，包括外围设备，例如磁盘、网卡、cpu也可以将自己
NIO多路复用
MrLiar的博客
09-15 1070
多路复用就是通过一种机制，复用同一个线程可以监听多个描述符，一旦某个描述符就绪（可以读/写），就通过某种方法（select、poll、epoll）就通知用户进程进行相应read、write操作。 在select，poll，epoll出现之前，最初处理多路复用的方法是：通过非阻塞忙轮询I/O的方式处理多个描述符特点：不停的从头到尾地轮询所有描述符缺点：如果所有的描述符都没有数据返回，cpu空转，浪费cpu资源。 1、select： 为了解决原始处理方式的cpu空转浪费资源问题，引入了一个sele...
NIO - 多路复用
秃头的博客
08-26 373
多路复用 - Selector 一个线程配合 selector 就可以监控多个 channel 的事件，事件发生线程才去处理。避免非阻塞模式下所做无用功 connect - 客户端连接成功时触发 accept - 服务器端成功接受连接时触发 read - 数据可读入时触发，有因为接收能力弱，数据暂不能读入的情况 write - 数据可写出时触发，有因为发送能力弱，数据暂不能写出的情况 每个 channel 都需要记录可能被切分的消息，因为 ByteBuffer 不能被多个 channel 共同使用，因此需要
Java NIO多路复用机制与使用技巧
## 为什么要使用多路复用机制 在传统的BIO编程中，每个连接需要一个独立的线程来处理，当连接数量增加时，线程数量也会随之增加。当线程数量过多时，会带来线程开销和资源消耗的增加，甚至可能导致系统崩溃。多路...
Redis底层原理(nio多路复用模型)
11-06
在深入理解Redis底层原理时，我们不能忽略其高效的网络通信机制，其中Java NIO（非阻塞I/O）的多路复用模型扮演了关键角色。 在Java中，NIO（Non-blocking Input/Output）是一种不同于传统阻塞I/O的I/O模型。传统的...
打牢Netty基础，一文带你彻底搞懂Java的Nio多路复用！
greatming666的博客
03-01 3277
Java的NIO多路复用是一个重要的概念也是学习Netty的基础。NIO多路复用允许单个线程管理多个连接（Socket通道），通过选择器（Selector）同时监控多个通道的状态，从而实现高效的网络通信。
【NIO】IO多路复用
LoveSummer
02-03 1029
上节，我们讲解了阻塞和非阻塞，我们今天讲第三种IO模型，这就是IO多路复用。 引入多路复用的原因 实际上，在服务端与客户端一对一通信的时候，同步阻塞式地读写并不会有太大的问题，最典型的就是两个对等机器之间建立了TCP连接，并且通过TCP连接来发送一个大文件，有大量的数据传输。在这种场景中，阻塞式的写法简单高效。 但是，在服务器场景下，例如，一个 Web Server，它的特点是客户端很多，连接时间很短，数据发送量很小（一个网页几十到几百K），为了让每一个用户都能得到及时的响应，我们可以使用多线程的方式来实现
NIO+多路复用
沉默的夏虫
05-08 416
BIO建立连接或者io读写操作都是阻塞的，所有多个客户端为了满足及时响应，我们可能需要主动开启多线程 NIO建立连接或者io读写操作都是非阻塞的，如果不实用多路复用，但是想满足相应，可能需要循环获取连接，如果成功了，将连接记录到list中，循环中再套一个循环遍历list，进行io读写操作 NIO+多路复用（epoll是linux特有的时间复杂度O(1)当有io就绪时被动的被event通知到，连接数量无限制；select大多数操作系统都支持时间复杂度O(n)每次都是内核去遍历所有连接拿到就绪的连接数量有限
NIO多路复用-NIOClient
qq_43058337的博客
08-24 761
package com.aura.io1804.nio; import java.io.IOException; import java.net.InetSocketAddress; import java.nio.ByteBuffer; import java.nio.channels.ClosedChannelException; import java.nio.channels.S...
NIO和多路复用
Songbl_的博客
08-17 600
多路复用，nio
NIO多路复用底层原理(Select、Poll、EPoll)
qq_41563912的博客
09-06 6306
NIO一、NIO概述1. BIO2. NIO二、文件描述符三、Select、Poll、EPoll1. Select2. Poll模型3. EPoll模型四、总结1. 大致过程如下: 一、NIO概述 1. BIO         BIO，即Blockig IO，阻塞IO，一个线程对应一个连接，如果你的服务器有很多用户，每个用户都需要与你的服务器建立一个连接，那么你有多少用户，你的服务器就得创建多少个线程，显然是不显示的，而且每个线
NIO多路复用以及select/poll/epoll
卡夫卡
11-12 630
IO多路复用机制：程序注册一组socket文件描述符给操作系统，监视这些fd是否有IO事件发生，有了就告诉程序处理。是一种触发式、批量式的解决方案。现在主流的中间件：netty、kafka都是采用的多路复用技术，来提升并发吞吐量 首先我们先了解BIO 当用read去读取网络的数据时，是无法预知对方是否已经发送数据的。因此在收到数据之前，能做的只有等待，直到对方把数据发过来，或者等到网络超...
Java的NIO和多路复用
www_tlj的专栏
01-29 1891
Java NIO和多路复用结合使用，提供了一种高效处理多个并发I/O操作的方式。NIO通过缓冲区和通道提供了一种新的I/O处理模型，而多路复用通过选择器允许单个线程有效管理多个通道。这种模型特别适合需要处理高并发网络连接的应用程序，如高性能服务器。这个示例是一个简单的NIO服务器，展示了如何使用选择器和非阻塞I/O来处理多个客户端连接。在实际应用中，还需要考虑异常处理、资源管理、数据编码/解码等更多复杂的情况。NIO的这种模型特别适合构建高性能和高并发的网络服务器。
什么是nIO多路复用
04-26
### nIO多路复用的定义 NIO多路复用是一种高效的I/O处理方式，允许单个线程管理多个网络连接。通过这种方式，程序可以在一个线程中监听多个通道的状态变化（如可读、可写），从而避免了传统同步阻塞I/O模式下需要为每个连接创建独立线程所带来的开销[^1]。 --- ### NIO多路复用的工作原理 NIO多路复用的核心依赖于`Selector`类。以下是其主要工作机制： 1. **注册Channel到Selector** 将多个`SelectableChannel`对象（如`ServerSocketChannel`或`SocketChannel`）注册到同一个`Selector`实例上，并指定感兴趣的事件类型（如`SelectionKey.OP_READ`表示关注读操作）。这一步使得`Selector`能够感知这些通道上的状态变化[^4]。 2. **轮询准备好的Channel** 调用`select()`方法让当前线程进入等待状态，直到某些已注册的通道发生了所关心的操作为止。此时返回的结果集包含了所有已经准备好对应操作的通道列表[^3]。 3. **遍历并处理事件** 对于每一个处于就绪状态下的通道，逐一取出它们关联的数据流或者发起新的通信动作；完成之后再继续回到第二步循环监测新到来的变化情况[^5]。 这种设计极大地减少了因频繁创建销毁大量短生命周期轻量级单元而带来的性能损耗问题，在应对大规模并发访问请求时表现出显著优越性。 --- ### 应用场景分析 #### 高并发环境 由于能够在单一进程中同时维护成千上万个活跃链接的能力，因此特别适合应用于Web服务器、即时通讯工具以及其他任何可能面临极高频率交互需求的服务端架构之中[^1]。 例如在一个典型的聊天室应用里，如果采用传统的BIO模型，则每新增一位参与者都需要额外分配一个新的服务进程/线程来单独为其提供支持——随着人数增加不仅消耗内存空间还会加剧调度压力。然而借助NIO多路复用方案则可以通过少量固定数目的工作者线程池即可满足相同规模甚至更大范围内的客户需求。 另外值得注意的是尽管如此高效但也并非毫无代价：持续不断地扫描各个文件描述符是否具备活动迹象本身就会耗费一定计算资源；而且当实际存在的有效连接数目过多时还可能导致上下文切换成本上升等问题出现[^3]。 为了缓解这些问题，在具体工程实践中往往会结合诸如Reactor模式这样的高级编程范型进一步优化整体表现效果。比如Netty框架内部正是采用了类似的双层结构设计理念：其中Boss组专门负责接受外部来访者的接入请求并将成功建立起来的新会话分发给Worker组成员分别承担后续具体的事务逻辑处理职责[^4]。 --- ### 示例代码展示 下面给出一段简单的基于NIO Selector实现的TCP回显服务器示例： ```java import java.io.IOException; import java.net.InetSocketAddress; import java.nio.ByteBuffer; import java.nio.channels.SelectionKey; import java.nio.channels.Selector; import java.nio.channels.ServerSocketChannel; import java.nio.channels.SocketChannel; import java.util.Iterator; public class EchoServer { private final int port; public EchoServer(int port) { this.port = port; } public void start() throws IOException { ServerSocketChannel serverSocketChannel = ServerSocketChannel.open(); serverSocketChannel.bind(new InetSocketAddress(port)); serverSocketChannel.configureBlocking(false); Selector selector = Selector.open(); serverSocketChannel.register(selector, SelectionKey.OP_ACCEPT); while (true) { selector.select(); Iterator<SelectionKey> iterator = selector.selectedKeys().iterator(); while (iterator.hasNext()) { SelectionKey key = iterator.next(); iterator.remove(); if (!key.isValid()) continue; if (key.isAcceptable()) handleAccept(key); if (key.isReadable()) handleRead(key); } } } private void handleAccept(SelectionKey key) throws IOException { ServerSocketChannel serverSocketChannel = (ServerSocketChannel) key.channel(); SocketChannel clientChannel = serverSocketChannel.accept(); System.out.println("Accepted connection from " + clientChannel.getRemoteAddress()); clientChannel.configureBlocking(false); clientChannel.register(key.selector(), SelectionKey.OP_READ); } private void handleRead(SelectionKey key) throws IOException { SocketChannel channel = (SocketChannel) key.channel(); ByteBuffer buffer = ByteBuffer.allocate(1024); int bytesRead = channel.read(buffer); if (bytesRead == -1) { channel.close(); return; } String message = new String(buffer.array()).trim(); System.out.println("Received: " + message); channel.write(ByteBuffer.wrap(("Echo: " + message).getBytes())); } public static void main(String[] args) throws IOException { new EchoServer(8080).start(); } } ``` 此段代码展示了如何利用NIO中的`Selector`机制构建一个多路复用的简单服务器应用程序。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值