让人秒懂的Redis的事件处理机制

Redis源码剖析和注释(十九)--- Redis 事件处理实现 Redis 事件处理实现1. Redis事件介绍Redis服务器是一个事件驱动程序。下面先来简单介绍什么是事件驱动。所谓事件驱动,就是当你输入一条命令并且按下回车,然后消息被组装成Redis协议的格式发送给Redis服务器,这就会产生一个事件,Redis服务器会接收该命令,处理该命令和发送回复,而当你没有与服务器进行交互时,那么服务器就会处于阻塞等待状态,会让出CPU从而进入睡眠状态,当事件触发时, 阅读详情

redis是单进程,单线程模型,与nginx的多进程不同,与golang的多协程也不同,“工作的工人”那么少,可那么为什么redis能这么快呢?

epoll多路复用

这里重点要说的就是redis的IO编程模型,首先了解下

为什么要有多路复用呢?

如果没有多路复用,一个线程只能监听一个端口的一个连接,这样这个效率比较低。当然我们有几种办法可以破除这个,一个是使用多线程模型,我们还是监听一个端口,但是一个请求进来,我们为其创建一个线程。但是这种消耗是比较大的。所以我们一直想办法,有没有办法一个线程监听多个端口,或者多个一个端口的多个连接(fd)。

这里再说说fd, 文件描述符(file descriptor)是内核为了高效管理已被打开的文件所创建的索引,其是一个非负整数(通常是小整数),用于指代被打开的文件,所有执行I/O操作(包括网络socket操作)的系统调用都通过文件描述符。每个连接请求上来,都会创建一个连接套接字,一个连接使用一个连接套接字。

对于监听端口,我们会有一个监听套接字,对应监听fd。我们所有的监听业务都是从监听这个套接字开始的。

那么如果我一个程序能同时监听多个连接套接字,是不是就很赞了。是的,这就是linux的io多路复用逻辑。但是这么多连接套接字,传递数据等是断断续续的,A连接接收一个包,B连接再接收一个包,A连接再接收一个包,B连接再接收一个包....如果我等着A连接把包都接收完再处理B,那效率是非常慢的。所以,这里我们就需要有一个通知机制,让有收到包的时候通知下处理线程。

linux的IO多路复用逻辑主要有三种:select, poll, epoll。

select

select模型监听的三个事件:读数据事件,写数据事件,异常事件。

使用select模型的步骤如下:

  • 我们确定要监听的监听fd列表

  • 调用select监听所有监听fd,阻塞线程。

  • select只有当有事件出现并且有事件的fd已经等待完毕

  • 如果是创建一个连接事件:

  • 创建一个连接套接字,连接fd

  • 将连接fd和监听fd集合放在一起

  • 如果是一个读写事件:

  • 遍历所有fd,判断是否是准备好的fd

  • 如果是准备好的fd,进行业务读写逻辑

  • 循环进入select。

select一次可以监听1024个文件描述符。

poll模型

poll传递给内核的是:

  • 监听的fd集合

  • 需要监听的事件类型

  • 实际发生的事件类型

poll的模型逻辑是:

  • 我们确定要监听的监听fd列表

  • 调用poll监听所有监听fd,阻塞线程。

  • poll只有当有事件出现才解除阻塞

  • 如果是创建一个连接事件:

  • 创建一个连接套接字,连接fd

  • 将连接fd和监听fd集合放在一起

  • 如果是一个读写事件:

  • 遍历所有fd,判断是否是有读写事件的fd

  • 如果fd有读写事件,进行业务读写逻辑

  • 循环进入poll。

poll比select优秀在它没有了1024的限制了。但是还是有一些缺陷,就是必须要遍历所有fd。

现在C++程序员面临的竞争压力越来越大。那么,作为一名C++程序员,怎样努力才能快速成长为一名高级的程序员或者架构师,或者说一名优秀的高级工程师或架构师应该有怎样的技术知识体系,这不仅是一个刚刚踏入职场的初级程序员,也是工作三五年之后开始迷茫的老程序员,都必须要面对和想明白的问题。为了帮助大家少走弯路,技术要做到知其然还要知其所以然。以下视频获取点击:C++架构师学习资料

如果想学习C++工程化、高性能及分布式、深入浅出。性能调优、TCP,协程,Nginx源码分析Nginx,ZeroMQ,MySQL,Redis,MongoDB,ZK,Linux内核,P2P,K8S,Docker,TCP/IP,协程,DPDK的朋友可以看一下这个学习地址:C/C++Linux服务器开发高级架构师/C++后台架构师​icon-default.png?t=M276https://ke.qq.com/course/417774?flowToken=1013189

 

epoll

epoll的数据结构类似poll,但是在调用epoll的时候,它不是返回发生了事件的fd个数,而是返回了所有发生的事件,这个事件中可以查出发生事件的fd。

所以epoll的逻辑模型是:

  • 我们确定要监听的监听fd列表

  • 调用epoll监听所有监听fd,阻塞线程。

  • epoll只有当有事件出现才解除阻塞,并且返回事件列表

  • 遍历事件列表:

  • 如果是创建一个连接事件:

  • 创建一个连接套接字,连接fd

  • 将连接fd和监听fd集合放在一起,继续epoll

  • 如果是一个读写事件:

  • 处理这个事件

  • 循环进入epoll。

说白了,epoll就是我们逻辑上能想到的最优的通知机制。一群人去排队,有多个事件发生,警察来了,那么就告诉警察有哪几个列发生了什么事件,警察一个个处理就行了。

Reactor模型

有了IO多路复用的机制,我们就可以实现一种模型,叫做Reactor模型了。Reactor模型不懂的可以看看这个视频讲解:epoll原理剖析以及reactor模型

最经典的一张图就是这个

​reactor的五大角色:

  • Handle(句柄或者是描述符)

  • Synchronous Event Demultiplexer(同步事件分离器)

  • Event Handler(事件处理器)

  • Concrete Event Handler(具体事件处理器)

  • Initiation Dispatcher(初始分发器)

简要来说,Reactor就是我们现在最正常理解的“事件驱动”,对,就是字面理解的那种。比如订阅一个kafka,我们会创建一个监听程序,监听kafka的某个topic,然后在监听程序中挂载几个处理不同消息的处理程序,每当有一个事件从topic进入的时候,我们就会有通过这个监听程序,通知我们的处理程序。处理程序来处理不同的消息。

这种所谓的通知机制,就叫做reactor。

这个kafka的例子,里面有一个监听事件的程序,它一定是一个同步的,一条消息来了,投递一个消息,就叫做 Synchronous Event Demultiplexer(同步事件分离器)。而这个消息,就是Handle(句柄或者是描述符)。我们需要将某个具体的事件处理函数,也就是上图的Concrete Event Handler(具体事件处理器) 挂载到监听的处理程序中。当然这里的每个Concrete Event Handler(具体事件处理器) 都必须遵照某种格式,比如定义了handle_event和get_handle接口。这种格式我们统称为Event Handler(事件处理器)。再回到监听事件,监听事件一定有一个挂载的具体map之类的结构,即哪个事件对应哪个处理程序,这个挂载的核心我们叫它Initiation Dispatcher(初始分发器)。

标准的处理流程描述如下:

  • 当应用向Initiation Dispatcher注册Concrete Event Handler时,应用会标识出该事件处理器希望Initiation Dispatcher在某种类型的事件发生发生时向其通知,事件与handle关联

  • Initiation Dispatcher要求注册在其上面的Concrete Event Handler传递内部关联的handle,该handle会向操作系统标识

  • 当所有的Concrete Event Handler都注册到 Initiation Dispatcher上后,应用会调用handle_events方法来启动Initiation Dispatcher的事件循环,这时Initiation Dispatcher会将每个Concrete Event Handler关联的handle合并,并使用Synchronous Event Demultiplexer来等待这些handle上事件的发生

  • 当与某个事件源对应的handle变为ready时,Synchronous Event Demultiplexer便会通知 Initiation Dispatcher。比如tcp的socket变为ready for reading

  • Initiation Dispatcher会触发事件处理器的回调方法。当事件发生时, Initiation Dispatcher会将被一个“key”(表示一个激活的handle)定位和分发给特定的Event Handler的回调方法

  • Initiation Dispatcher调用特定的Concrete Event Handler的回调方法来响应其关联的handle上发生的事件

在这五种角色中,

其中的 Initiation Dispatcher(初始分发器) 是最重要的,我们也称其为Reactor。它本身定义了一些规范,同时提供了Handler的一些注册机制。

而Synchronous Event Demultiplexer(同步事件分离器) 在IO场景下,一般是由操作系统底层实现的,就是说操作系统底层必须能有这个能力,才能基于这个能力实现Reactor模型。在我们这个场景下,就是前面提到的linux的多路复用机制。

Handle(句柄或者是描述符)在IO场景下就是IO网络连接的fd。

而Event Handler(事件处理器) 和 Concrete Event Handler(具体事件处理器) 在IO场景下分为三种处理事件:连接事件,写事件,读事件。对于连接事件的处理器,我们称之为acceptor,读/写事件的处理器,我们统称为handler。

所以在IO场景下,Reactor 我们需要实现的三个关键角色为:reactor、acceptor、handler。

Redis的实现

在redis中,下面一张图就能说明其实现逻辑。

在redis中,有个reactor(叫做aeMain)接收客户端的redis请求。而在这个reactor中除了监听连接事件acceptor之外,还可以动态注册各种handler (aeCreateFileEvent)。当一个客户端请求进入的时候,调用 aeProcessEvents 来分发事件。

这个逻辑就很清晰了吧。整个就是redis的事件处理机制。

Redis的事件处理机制分析 Redis事件驱动机制分析 阅读详情

相关推荐

从零到一:手把手部署用友T3标准版11.2及SQL Server 2008R2环境

本文详细介绍了从零开始部署用友T3标准版11.2及SQL Server 2008R2环境的完整流程,包括环境准备、SQL Server安装、环境检测与修复、T3标准版安装实战以及初始化配置与测试。通过手把手的步骤指导和常见问题解决方案,帮助用户顺利完成部署,确保系统稳定运行。

weixin_28339967的博客 460

redis的事件机制

redis的事件机制

flyingmylife的博客 1459

道岔故障监测系统设计(源码+开题)

通过实时监控道岔的工作状态,系统能够及时发现异常情况,预防潜在的安全隐患,从而减少事故发生的概率。此外,监测系统还能够为维护人员提供详细的数据支持,帮助他们更准确地判断道岔的磨损程度和故障类型,优化维修计划,延长道岔的使用寿命。随着智能化、自动化技术的发展,道岔故障监测系统的设计与应用也将推动铁路行业的技术进步,为实现智能铁路和未来交通系统的构建奠定基础。因此,开展道岔故障监测系统的设计研究,不仅具有重要的工程实践价值,也有助于推动铁路运输行业向更高水平的发展。

灵军程序设计 771

Redis事件机制原理

Redis事件机制原理

weixin_51456741的博客 321

【两方演化博弈代码复现】:双方演化博弈的原理、概率博弈仿真、相位图、单个参数灵敏度演化

演化博弈论是研究个体在特定环境中如何通过策略选择与其他个体进行互动的学科。这一理论在生物学、经济学和社会科学等多个领域都有广泛应用。本文将深入探讨双方演化博弈的原理及其过程,并解读一段 MATLAB 代码,展示如何模拟这一过程。

当回首往事的时候,不会因虚度年华而悔恨,也不会因碌碌无为而羞愧。 6202

NeRF必读:Mip-NeRF总结与公式推导

由于远景近景的分辨率不同,导致经典NeRF对于多尺度场景的表达存在明显瑕疵:NeRF对于近景的重建比较模糊而对于远景的重建出现锯齿。简单粗暴的策略是supersampling,但是费时费力。相较于NeRF使用的位置编码(PE)方式,Mip-NeRF提出了积分位置编码的方式(IPE).这种编码方式可以多尺度地描述空间中的信息分布,make sense.

i_head_no_back的博客 6081

深入Redis原理与应用——Redis中的事件

当被监听的套接字准备好执行连接应答(accept)、读取(read)、写入(write)关闭(close)等操作时,与之相对应的文件事件就会产生,这时文件事件处理器就会调用套接字之前关联好的事件处理器来处理这些事件。尽管多个文件事件可能会并发地出现,但 IO 多路复用程序总是会将所有产生事件的套接字都放到一个队列里面然后通过这个队列以有序、同步、每次一个套接字的方式向文件事件分派器传送套接字,上一个套接字传输的事件处理完后才会接着处理下一个。时间事件的处理时间通常比设定的到达时间晚一点。

qq_45838559的博客 467

WS2812B非标准通信协议:手把手实现精准时序控制

详解WS2812B的精准时序实现原理,剖析其非标准通信协议的关键细节。通过实际操作指导,帮助开发者稳定驱动ws2812b灯带,解决常见时序偏差问题,提升项目显示效果与响应一致性。

weixin_42584586的博客 587

【redis原理】redis事件机制

redis事件机制分析,涉及文件事件和时间事件,主要涉及源码分析

dylan的博客 847

YOLOv11 Neck革新:当SDI遇上BiFPN,带你打造精度飙升的特征融合网络

对于科研:这是一个新颖的特征融合思路,能做出差异化的实验,发论文、做项目都很有价值;对于工程:它能解决小目标漏检、大目标定位不准的痛点,让你的检测系统在工业质检、智能安防等场景下更可靠;对于技术成长:掌握了SDI和BiFPN的设计逻辑,你再去看其他特征融合方法(比如FPN、PAN),会有“一通百通”的感觉,以后优化任何检测模型都能举一反三。如果你之前在目标检测的精度上遇到了瓶颈,不妨试试SDI+BiFPN——它就像给YOLOv11装上了“透视眼”,让模型能看清每一个细节。

FJN110的博客 303

小秋SLAM入门实战ubuntu所有文章汇总

ubuntu 终端如何停止快速打印的输出以及恢复命令 ubuntu 终端如何快速打开当前路径下的图形化窗口界面? killall -9用途用法 ps -xu | grep这个命令的用途 linux 下 top命令显示的是内存是堆内存吗? zip分割和合并 关闭除当前 GNOME 终端窗口以外的所有其他 GNOME 终端窗口 如何在安装系统后设置短密码 【如何使用getrusage获取消耗的CPU时间和进程使用的最大物理内存】 【webots安装使用教程】 Linux系统下查看当前运行的进程和线程的几种方法

小秋 AI SLAM 入门实战教程 1407

Redis事件机制

Redis事件机制

DrMickeys的博客 779

UG\NX二次开发 获取对象的层、颜色、隐藏状态、线宽、线型、高亮显示状态

获取对象的层、颜色、隐藏状态、线宽、线型、高亮显示状态。

王牌飞行员_里海的博客 1985

Redis事件处理机制详解

Redis 服务器的事件主要处理两方面: 处理文件事件:在多个客户端中实现多路复用,接受它们发来的命令请求,并将命令的执行结果返回给客户端 时间事件:实现服务器常规操作 1 文件事件 Redis server通过在多个客户端间多路复用, 实现了高效的命令请求处理: 多个客户端通过socket连接到 Redis server, 但只有在socket可无阻塞读/写时, server才会和这些客户端交互。 Redis 将这类因为对socket进行多路复用而产生的事件称为文件事件, 文件事件可分类如下: 1.1

JavaEdge全是干货的技术号 5093

华为的C语言编程规范.pdf

华为技术有限公司内部技术规范。本规范制定了编写C语言程序的基本原则、规则和建议。从代码的清晰、简洁、可测试、安全、程序效率、可移植各个方面对C语言编程作出了具体指导。

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

Redis通信协议及事件处理机制

前言   本文是redis章节进行复习,本文中所有内容都来自于拉勾教育高薪训练营 本章学习目标: 知道Redis的请求响应模式 理解请求数据格式(RESP) 描述命令处理流程 知道Redis的响应格式 掌握4种IO多路复用模式(epoll) 理解aeEventLoop 1 通信协议   Redis是单进程单线程的。   应用系统和Redis通过Redis协议(RESP)进行交互 1.1 请求相应模式   Redis协议位于TCP层之上,即客户端和Redis实例保持双工的连接。 1.1.1 串行的请求响

qq_20029829的博客 761

廖雪峰Python教程[完整版]

廖雪峰的python教程整理的,已经排好版了,而且还是完整的,适合小白

Redis -通讯协议及事件处理机制

通讯协议及事件处理机制 ##通信协议 Redis是单进程单线程的。 应用系统和Redis通过Redis协议(RESP)进行交互。 请求响应模式 Redis协议位于TCP层之上,即客户端和Redis实例保持双工的连接 串行的请求响应模式(ping-pong) 串行化是最简单模式,客户端与服务器端建立长连接 连接通过心跳机制检测(ping-pong) ack应答 客户端发送请求,服务端响应,客户端收到响应后,再发起第二个请求,服务器端再响应 telnet和redis-cli 发出的命令 都属于该种模式 特点

小城我家 710

RU DOS版、EFI版32bit/64bit BIOS常用工具

DOS版、EFI版的RU工具,可用来查看IO、MEM、PCI、SMBIOS等资源。亲测在EFI SHELL下可用。

Redis客户端连接机制

Redis采用基于事件驱动的单线程模型处理客户端连接,通过I/O多路复用技术高效管理多个非阻塞连接。

✨ 欢迎来到【Seal ^_^ 的优快云博客】!✨ 5310

从零开始Redis(六):事件处理机制

事件处理机制简介文件事件socketReactor4种IO多路复用模型与选择selectpollepollkqueue文件事件分派器事件处理器时间事件serverCron定时事件周期性事件aeEventLoop初始化stop文件事件: events, fired, apidata时间事件: timeEventHead, beforesleep, aftersleep总结 简介 本节介绍下redis的事件处理机制 Redis服务器是典型的事件驱动系统。 MVC : java 上层调下层 事件驱动: js Re

596

Redis学习笔记---Redis的事件处理机制

Redis学习笔记—Redis的事件处理机制 1.Redis的事件处理机制 Redis服务器是典型的事件驱动系统。 MVC : java 上层调下层 事件驱动: js Redis将事件分为两大类:文件事件和时间事件。 2.文件事件 文件事件即Socket的读写事件,也就是IO事件。file description(文件描述符) 以上说的都是客户端的连接、命令请求、数据回复、连接断开 3.socket 套接字(socket)是一个抽象层,应用程序可以通过它发送或接收数据。 4.Reactor Red

qq_39314972的博客 297

深入redis内部--事件处理机制

1. redis事件的定义 /* State of an event based program */ typedef struct aeEventLoop { int maxfd; /* highest file descriptor currently registered */ int setsize; /* max number of file d...

104

redis的事件处理机制

redis是单进程,单线程模型,与nginx的多进程不同,与golang的多协程也不同,“工作的工人”那么少,可那么为什么redis能这么快呢?

2401_83384536的博客 1058

Redis的事件处理机制

Redis是单进程,单线程模型,与nginx的多进程不同,与golang的多协程也不同,“工作的工人”那么少,可那么为什么redis能这么快呢?epoll多路复用这里重点要说的就是redis的IO编程模型,首先了解下为什么要有多路复用呢?如果没有多路复用,一个线程只能监听一个端口的一个连接,这样这个效率比较低。当然我们有几种办法可以破除这个,一个是使用多线程模型,我们还是...

轩脉刃的刀光剑影 349

深入探索Redis发布订阅机制

在分布式系统和实时应用开发中,高效的消息通信机制至关重要。Redis作为一款强大的内存数据库,不仅提供了丰富的数据结构和高性能的存储能力,还具备一套灵活的发布订阅(Publish/Subscribe)系统。通过发布订阅机制,Redis可以实现消息的广播和多对多的通信,为开发者构建实时消息推送、实时聊天、分布式系统通知等功能提供了便捷的解决方案。本文将深入探讨Redis发布订阅的原理、使用场景、操作方法以及实际应用中的注意事项。

恩爸编程 2563

Redis通信协议与事件处理

一,Redis通信协议 Redis是单进程单线程的。 应用系统和Redis通过Redis协议(RESP)进行交互。Redis协议位于TCP层之上,即客户端和Redis实例保持双工的连接。 串行的请求响应模式 串行化是最简单模式,客户端与服务器端建立长连接 连接通过心跳机制检测(ping-pong) ack应答 客户端发送请求,服务端响应,客户端收到响应后,再发起第二个请求,服务器端再响应。这种模式下,消耗在网络协议的连接上,有问有答,性能很低。 双工的请求响应模式 该模式下批量请求,平凉反应.

FYHannnnnn的博客 723

redis 事件处理机制及其它

关于redis的事件处理机制,网上有很详细的源码解析了,基于2.0.4的,URL如下:redis源代码分析8–事件处理(上) redis源代码分析8–事件处理(中) redis源代码分析8–事件处理(下) 小总结: 初始化:在redis.c中initServer调用aeCreateEventLoop,并建立了现有唯一的一个time event:serverCron. ...

O_OCalmHawk的学习园地 245
上一篇: 2022年作为一个中年程序员写给35岁的自己
下一篇: 一文弄懂Linux下五种IO模型
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值