Redis非阻塞I/O多路复用机制

最新推荐文章于 2024-07-31 17:30:52 发布
原创 最新推荐文章于 2024-07-31 17:30:52 发布 · 1k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#Redis #非阻塞IO多路复用

小曲的快递店通过两种经营模式对比，揭示了传统并发模型与I/O多路复用的效率差异。在经营方式一中，每个快递对应一个线程，导致资源浪费；而经营方式二采用单线程按顺序处理，提高了效率，这类似于Redis的I/O多路复用机制，利用文件事件分派器和多路复用技术高效处理多个客户端请求。Redis支持select、epoll等多种I/O复用技术，实现高并发服务。

小曲在S城开了一家快递店，负责同城快送服务。小曲因为资金限制，雇佣了一批快递员，然后小曲发现资金不够了，只够买一辆车送快递。

经营方式一

客户每送来一份快递，小曲就让一个快递员盯着，然后快递员开车去送快递。慢慢的小曲就发现了这种
经营方式存在下述问题：
1、几十个快递员基本上时间都花在了抢车上了，大部分快递员都处在闲置状态，谁抢到了车，谁就能去送快递
2、随着快递的增多，快递员也越来越多，小曲发现快递店里越来越挤，没办法雇佣新的快递员了
3、快递员之间的协调很花时间
综合上述缺点，小曲痛定思痛，提出了下面的经营方式

经营方式二

小曲只雇佣一个快递员。然后呢，客户送来的快递，小曲按送达地点标注好，然后依次放在一个地方。最后，那个快递员依次的去取快递，一次拿一个，然后开着车去送快递，送好了就回来拿下一个快递。对比 上述两种经营方式对比，是不是明显觉得第二种，效率更高，更好呢。在上述比喻中:

每个快递员------------------>每个线程
每个快递-------------------->每个socket(I/O流)
快递的送达地点-------------->socket的不同状态
客户送快递请求-------------->来自客户端的请求
小曲的经营方式-------------->服务端运行的代码
一辆车---------------------->CPU的核数

于是我们有如下结论
1、经营方式一就是传统的并发模型，每个I/O流(快递)都有一个新的线程(快递员)管理。
2、经营方式二就是I/O多路复用。只有单个线程(一个快递员)，通过跟踪每个I/O流的状态(每个快递的送达地

最低0.47元/天 解锁文章
Redis——Redis I/O多路复用原理
庄小焱
08-08 4966
Redis的相关网络模型的原理。在Redis中涉及到网络数据的传输。接下来将详细的介绍redis中的多路复用IO网络模型原理。
Redis 网络模型 -- 阻塞非阻塞IO、IO多路复用、epoll详解
m0_71777195的博客
10-29 1680
当用户进程调用了select，那么整个进程会被阻塞，而同时，内核会"监视"所有select负责的socket，当任何一个socket中的数据准备好了，select就会返回。这个时候用户进程再调用read操作，将数据从内核拷贝到用户进程。这个模型和阻塞IO的模型其实并没有太大的不同，事实上还更差一些。因为这里需要使用两个系统调用(select和recvfrom)，而阻塞IO只调用了一个系统调用(recvfrom)。但是，用select的优势在于它可以同时处理多个连接。
服务器基础:聊聊Linux中的5种I/O模型
临江之阁
10-10 4483
1 概念说明在进行解释之前，首先要说明几个概念：用户空间和内核空间进程切换进程的阻塞文件描述符缓存 IO1.1 用户空间与内核空间现在操作系统都是采用虚拟存储器，那么对32位操作系统而言，它的寻址空间（虚拟存储空间）为4G（2的32次方）。操作系统的核心是内核，独立于普通的应用程序，可以访问受保护的内存空间，也有访问底层硬件设备的所有权限。为了保证用户进程不能直接操作内核（kernel），保证内核的
非阻塞IO，多路复用
qq_45633736的博客
10-12 480
一、网络编程四种IO模型。 1、什么是IO模型？ 网络编程对于数据输出输入方法： 阻塞IO，非阻塞IO，多路复用，信号驱动。 2、这几种IO模型原理是如何？ 1）阻塞IO： 一直阻塞等待某一个套接字的数据到达，如果有数据，则读取并返回，如果无数据，就会一直等待。 read(fd); recv(fd); accept(sockfd); 以上的例子，在过去，我们都会觉得是函数阻塞，例如read函数,accept函数阻塞，但是这样想是错误，因为真正阻塞的是套接字/文件描述符，并不是函数本身具有阻塞的属性。 因
redis 非阻塞的IO多路复用机制
fall_hat的博客
05-12 2402
IO 多路复用 一个服务端进程可以同时处理多个套接字描述符 多路：多个客户端连接（连接就是套接字描述符） 复用：使用单进程就能够实现同时处理多个客户端的连接 其他方式是通过增加进程和线程的数量来并发处理多个套接字，免不了上下文切换的开销，而 IO 多路复用只需要一个进程就能够处理多个套接字，从而解决了上下文切换的问题。 其发展可以分 select->poll→epoll 三个阶段来描述。 select 就是轮询，在 Linux 上限制个数一般为 1024 个 poll 解决了 select 的个数
高性能IO模型浅析
weixin_34331102的博客
11-14 1428
高性能IO模型浅析 服务器端编程经常需要构造高性能的IO模型，常见的IO模型有四种：（1）同步阻塞IO（Blocking IO）：即传统的IO模型。（2）同步非阻塞IO（Non-blocking IO）：默认创建的socket都是阻塞的，非阻塞IO要求socket被设置为NONBLOCK。注意这里所说的NIO并非Java的NIO（New IO）库。（3）IO多路复用（IO Multiplexing...
阻塞I/O、非阻塞I/O和I/O多路复用
weixin_30500105的博客
05-14 275
一、阻塞I/O 首先，要从你常用的IO操作谈起，比如read和write，通常IO操作都是阻塞I/O的，也就是说当你调用read时，如果没有数据收到，那么线程或者进程就会被挂起，直到收到数据。阻塞的意思，就是一直等着。阻塞I/O就是等着数据过来，进行读写操作。应用的函数进行调用，但是内核一直没有返回，就一直等着。应用的函数长时间处于等待结果的状态，我们就称为阻塞I/O。每个应用都得等着...
非阻塞的IO多路复用机制介绍
zhikai2080628的博客
06-30 543
选择合适的多路复用机制，如`epoll`在Linux系统上的高性能应用，以及`select`和`poll`在跨平台开发中的广泛使用，可以有效提高应用程序的性能和稳定性。- **多路复用**：通过一个机制，单个线程可以等待多个IO通道中的任何一个或多个变为可读或可写，从而避免在每个通道上都创建一个线程来处理IO操作。- **非阻塞IO**：IO操作立即返回，如果操作未完成，则返回错误或特定值，当前线程可以继续执行其他任务。- **缺点**：与`select`一样，每次调用都需要重新设置监听的文件描述符。
redis使用的I/O多路复用模型详细解读~
qq_43620216的博客
07-25 695
redis使用的I/O多路复用模型详细解读，雪儿和你一起学技术~
Redis（10）| I/O多路复用（mutiplexing）
蘑菇蘑菇不会开花的专栏
10-30 382
看上图，通俗讲就是I/O multiplexing 这里面的 multiplexing 指的其实是在单个线程通过记录跟踪每一个Sock(I/O流)的状态(对应空管塔里面的Fight progress strip槽)来同时管理多个I/O流. 发明它的原因，是尽量多的提高服务器的吞吐能力。那么什么是IO多路复用机制呢，Linux 中的 IO 多路复用机制是指一个线程处理多个 IO 流，就是我们经常听到的 select/epoll 机制。
服务器并发模型
m0_70493759的博客
07-31 1254
单循环服务器：服务器在同一时刻只能响应一个客户端的请求并发服务器模型：服务器在同一时刻可以响应多个客户端的请求UDP:无连接TCP:有连接1.多进程资源空间消耗大效率低2.多线程相对进程资源消耗小效率较高3.IO多路复用：为了解决进程或线程阻塞到某个 I/O 系统调用而出现的技术，使进程不阻塞于某个特定的 I/O 系统调用。优势：系统开销小，系统不需要建立新的进程或者线程，也不必维护这些线程和进程。多进程并发服务器多线程并发服务器。
【Redis非阻塞io多路复用线程模型】
Main__debug的博客
04-27 651
redis的三大优点之一多路复用详解Redis非阻塞io多路复用线程模型io多路复用器 详解Redis非阻塞io多路复用线程模型 redis比较快的原因有单线程、基于内存、io多路复用。前两个大家都知道，最后的io多路复用是个什么东西呢？ 当我们多个客户端去请求redis的时，就会存在并发的情况，在单线程中势必导致阻塞。redis的多路复用模型就是为了结局这个问题。 同时接受多个客户端的请求，经过我们的io多路复用产生不同的事件套接字，放入我们的队列中，同步、有序的将事件分给我们的文件事件分派器，找到对应
Redis的I/O多路复用机制
Talk is cheap，show me the code.
02-16 7185
  都说例子举的好，原理自然就能明白，上栗子： 小曲在S城开了一家快递店，负责同城快送服务。小曲因为资金限制，雇佣了一批快递员，然后小曲发现资金不够了，只够买一辆车送快递。 经营方式一 客户每送来一份快递，小曲就让一个快递员盯着，然后快递员开车去送快递。慢慢的小曲就发现了这种经营方式存在下述问题 几十个快递员基本上时间都花在了抢车上了，大部分快递员都处在闲置状态，谁抢到了车，谁就能去送快递...
meethigher-非阻塞 IO 及多路复用
meethigher的博客
04-07 585
stream 不会自动缓冲数据，是更高层的API。channel 会利用系统提供的发送缓冲区、接收缓冲区（更为底层）stream 仅支持阻塞 API，channel 同时支持阻塞、非阻塞 API，网络 channel 可配合 selector 实现多路复用（文件 channel 不可多路复用）二者均为全双工，即读写可以同时进行。
Redis 和 I/O 多路复用
洋洋
04-17 568
最近在看 UNIX 网络编程并研究了一下 Redis 的实现，感觉 Redis 的源代码十分适合阅读和分析，其中 I/O 多路复用（mutiplexing）部分的实现非常干净和优雅，在这里想对这部分的内容进行简单的整理。 几种 I/O 模型 为什么 Redis 中要使用 I/O 多路复用这种技术呢？ 首先，Redis 是跑在单线程中的，所有的操作都是按照顺序线性执行的，但是由于读
IO多路复用机制
明月朗，潇水寒
04-25 1037
讲述 阻塞IO、非阻塞IO以及 IO多路复用的原理
图解阻塞io和非阻塞io及多路复用机制
左耳听风的博客
11-25 5163
文章目录IOTCP通信阻塞IO非阻塞IOIO多路复用 IO 即Input Stream与Output Stream TCP通信 在介绍IO之前我们首先我们先了解一下TCP协议，对于TCP通信来说，每个TCP的scoket内核里面都有一个接受与发送缓冲区。 数据在应用层的send()通过数据复制进入到scoket内核的TCP发送缓冲区，发送端与接收端的scoket之间进行通讯（传输层），接收端接收...
非阻塞 & IO多路复用
wjhltl的博客
03-15 365
socket都是会阻塞的在等待连接以及等待接收数据的时候进入一个阻塞状态。
redis的I/O 多路复用技术
最新发布
03-19
<think>好的，我现在需要回答用户关于Redis的I/O多路复用技术的问题。首先，我得回忆一下Redis的基础知识，特别是它的网络模型部分。 用户的问题是关于Redis的I/O多路复用，所以我应该先解释这个概念。I/O多路复用是指使用一个机制来同时监控多个文件描述符（比如套接字），当其中任何一个描述符就绪（可读或可写）时，程序就能得到通知。这样可以避免阻塞在单个I/O操作上，提高并发处理能力。 接下来，我需要说明Redis为什么选择使用I/O多路复用。可能的原因包括高性能、单线程模型的优势，以及如何通过多路复用实现高并发。需要提到Redis主要采用单线程模型，避免了多线程的上下文切换开销，而I/O多路复用允许这个单线程高效处理多个客户端连接。 然后，应该介绍Redis在不同操作系统上使用的多路复用技术。比如，Linux下使用epoll，BSD/MacOS使用kqueue，而较旧系统可能使用select或poll。需要解释这些技术之间的区别，为什么epoll比select更高效，比如epoll的事件驱动方式不需要每次遍历所有文件描述符。 可能需要给出一个简单的示例代码，说明如何使用Python中的select模块实现多路复用，但用户要求只能用Python代码，所以需要调整示例。比如，展示一个使用select处理多个客户端连接的服务器端代码片段，虽然这可能不是Redis内部的实现，但可以帮助用户理解概念。 另外，要强调I/O多路复用如何与Redis的事件循环结合，事件处理器处理就绪的事件，如读或写操作。Redis的事件驱动架构使得它能够高效处理大量并发连接，而不会因为阻塞在某个连接上。 还要注意用户可能的疑问，比如为什么Redis选择单线程而不是多线程，这里需要解释单线程避免了锁的开销和竞争条件，简化了设计，同时I/O多路复用足够处理高并发的场景，特别是当应用受限于网络I/O而非CPU时。 最后，按照用户的要求，提出几个相关问题。这些问题应该围绕Redis的多路复用实现、不同多路复用技术的对比、单线程模型的优缺点，以及事件处理机制展开。 现在需要组织这些内容，确保回答结构清晰，先回答再解释，然后给出相关问题。检查是否有遗漏点，比如不同的多路复用技术之间的比较，或者具体的工作流程。</think><< Redis的I/O多路复用技术是其高性能的核心机制之一，主要通过事件驱动模型实现高并发连接处理。以下是详细说明： 一、核心原理 1. 多路复用器选择： - Linux系统使用epoll - BSD/MacOS使用kqueue - 旧系统使用select/poll 2. 工作流程： a. 创建事件循环(event loop) b. 注册socket文件描述符和事件（读/写） c. 通过多路复用API等待事件 d. 处理就绪事件 二、关键技术对比 | 技术 | 时间复杂度 | 最大连接数限制 | 触发模式 | |---------|------------|----------------|----------------| | select | O(n) | 1024 | 水平触发 | | poll | O(n) | 无限制 | 水平触发 | | epoll | O(1) | 无限制 | 边沿/水平触发 | | kqueue | O(1) | 无限制 | 边沿触发 | 三、Python示例（使用selectors模块）： ```python import selectors import socket sel = selectors.DefaultSelector() def accept(sock): conn, addr = sock.accept() print('Accepted', addr) conn.setblocking(False) sel.register(conn, selectors.EVENT_READ, read) def read(conn): data = conn.recv(1024) if data: print('Echoing', repr(data)) conn.send(data) else: print('Closing', conn) sel.unregister(conn) conn.close() sock = socket.socket() sock.bind(('localhost', 1234)) sock.listen() sock.setblocking(False) sel.register(sock, selectors.EVENT_READ, accept) while True: events = sel.select() for key, mask in events: callback = key.data callback(key.fileobj) ``` 四、Redis实现特点： 1. 单线程事件循环 2. 非阻塞I/O操作 3. 时间事件与文件事件统一处理 4. 自适应多路复用选择（自动选择最佳实现）
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值