破玩意 | Redis 为什么那么快

Redis为什么这么快?Redis的线程模型与Redis多线程 多路I/O复用模型是利用 select、poll、epoll 可以同时监察多个流的 I/O 事件的能力,在空闲的时候,会把当前线程阻塞掉,当有一个或多个流有 I/O 事件时,就从阻塞态中唤醒,然后程序就会轮询一遍所有的流(epoll 是只轮询那些真正发出了事件的流),并且依次顺序的处理就绪的流,这种做法就避免了大量的无用操作。在redis的多线程模式下,获取、解析命令,以及输出结果着两个过程,可以配置成多线程执行的,因为它毕竟是我们定位到的主要耗时点,但是命令的执行,也就是内存操作,依然是单线程运行的。 阅读详情

低并发编程

战略上藐视技术,战术上重视技术

我是个 redis 服务,我马上就要启动了

因为我的主人正在控制台输入:

./redis-server

宏观上看下我的流程

突然,主人按下了回车键,不得了了。

shell 程序把我的程序加载到了内存,开始执行我的 main 方法,一切就从这里开始了。

int main(int argc, char **argv) {
   ...
   initServer();
    ...
   aeCreateFileEvent(fd, acceptHandler, ...);
   ...
   aeMain();
   ...
}

不要觉得我这里很复杂,其实主要就三大步。

第一步,我通过 listenToPort() 方法创建了一个 TCP 连接。

我的这个方法真是见名知意,而且如果展开看就更会发现没什么神秘的,就是 socket bind listen 标准三步走,建立了一个 TCP 监听,返回了一个文件描述符 fd。

第二步,我通过 aeCreateFileEvent() 方法,将上面那个创建了 TCP 连接返回的文件描述符 fd,加入到一个叫 aeFileEvent的链表中。

同时将这个文件描述符绑定一个函数 acceptHandler,这样当有客户端连接进来时,便会执行这个函数。

第三步,我通过 aeMain() 方法,将上面的 aeFileEvent 链表中的文件描述符,统统作为 select 的入参,这是 IO 多路复用模式,如果不太了解的同学请阅读,《你管这破玩意叫 IO 多路复用?》。

好了,其实就是开启了一个 TCP 监听,然后如果有客户端进来的话,让他执行 acceptHandler 函数而已。

之后我就一直死等着客户端连接了。

void aeMain(aeEventLoop *eventLoop)
{
    eventLoop->stop = 0;
    while (!eventLoop->stop)
        aeProcessEvents(eventLoop, AE_ALL_EVENTS);
}



展开体验下我的具体工作

此时,另外一个人启动了一个 redis-client,连接到了我。

redis-cli -h host -p port

那么我头上的 fd 就会感知有数据读入,并执行 acceptHandler 方法。

static void acceptHandler(...) {
   ...
    cfd = anetAccept(...);
   ...
    c = createClient(cfd))
   ...
}

可以看到,当有新客户端连接进来时,便会调用 createClient 创建一个专属的 client 为其服务。

static redisClient *createClient(int fd) {
   ...
   aeCreateFileEvent(c->fd, readQueryFromClient, ...);
   ...
}

这里又可以看到,所谓的专属服务,其实仍然是这个 aeCreateFileEvent 函数。

这个上面说了,这个函数的功能就是把文件描述符挂在链表上,然后分配一个处理函数。

当然,这回的处理函数不再是处理新客户端连接的 acceptHandler,而是处理具体客户端传来的 redis 命令的函数 readQueryFromClient。

不难想象,如果再来一个客户端,又来一个客户端... 那么不断将新客户端的文件描述符挂上去即可,而监听新客户端连接的,始终是最上面那个文件描述符。

好了,服务端开启了监听,客户端也连上了服务端,此时我仍然在死等状态,只不过等的不只是新客户端连接到达,还在等待已经连接上的客户端发来命令。

请注意,这里的死等,只有一个线程,循环调用 aeProcessEvents 函数,用 select 的方式监听多个文件描述符。放上刚刚 main 方法的第三步,帮大家回忆一下。

void aeMain(aeEventLoop *eventLoop)
{
    eventLoop->stop = 0;
    while (!eventLoop->stop)
        aeProcessEvents(eventLoop, AE_ALL_EVENTS);
}

当有新客户端建立连接时,会触发 acceptHandler 函数执行,多出一个等待数据的描述符。

当有客户端数据传来时,会触发 readQueryFromClient 函数执行,完成这个命令的操作。

注意,由于只有一个线程在监听这些描述符,并做处理。所以即使客户端并发地发送命令,后面仍然是依次取出命令,顺序执行。

这也就是我们常常说的,redis 是单线程的,命令与命令之间是顺序执行,无需考虑线程安全的问题。

为了方便大家吹牛,我来拔高一下

大家发现没,我的启动过程,其实就分成两个大的部分。

一个是监听客户端的请求,就是用 IO 多路复用的方式,监听多个文件描述符,就刚刚那个 aeMain() 方法干的事嘛。

一个是执行相应的函数去处理这个请求,具体执行什么函数就是出现多次的 aeCreateFileEvent() 方法去绑定的,这个相应的函数说得高大上一点,叫做事件处理器。

这里所谓的连接应答处理器,就是刚刚监听连接的文件描述符所绑定的函数 acceptHandler。

所谓的命令请求处理器,就是监听客户端命令(读事件)的文件描述符绑定的函数 readQueryFromClient。

所谓的命令回复处理器,就是后面要提到的,监听客户端响应(写事件)的文件描述符绑定的函数 sendReplyToClient。

这种一个负责响应 IO 事件,一个负责交给相应的事件处理器去处理,就叫做 Reactor 模式。

Redis 正是基于 Reactor 模式开发了自己的文件事件处理器,实现了高性能的网络通信模型,并且保持了 Redis 内部单线程设计的简单性。

有点担心这句话吹牛的逼格不够,其实我是参考了《Redis 设计与实现》,截图给大家。



具体怎么执行一个 Redis 命令

现在,我们通过一个已建立好连接的客户端,发一个 redis 命令。

<client 6379> set dibingfa niubi

此时 readQueryFromClient 函数将被执行。

这个函数会去一张表中寻找命令所对应的函数,这部分用的编码技巧叫命令模式。

static struct redisCommand cmdTable[] = {
    {"get",getCommand,2,REDIS_CMD_INLINE},
    {"set",setCommand,3,REDIS_CMD_BULK|REDIS_CMD_DENYOOM},
    {"setnx",setnxCommand,3,REDIS_CMD_BULK|REDIS_CMD_DENYOOM},
    {"del",delCommand,-2,REDIS_CMD_INLINE},
    {"exists",existsCommand,2,REDIS_CMD_INLINE},
   ...
}

找到了 set 命令对应的函数就是 setCommand。

这个函数,最终就会一步步地将 key 和 value 分别存储起来,这部分的源码细节,可以阅读我之前的文章,《Redis 数据结构之字符串的那些骚操作》。

而关于 redis 数据结构与底层对应的编码结构,可以阅读我之前的文章,《面试官问我 redis 的数据类型,我回答了 8 种》。

处理完命令后,就要发送响应给客户端了。

static void setCommand(redisClient *c) {
   ...
    addReply(c, nx ? shared.cone : shared.ok);
}

这个响应,并不是直接同步写回去,当然也不是开启一个线程去异步写回去。

它仍然是调用那个万恶的 aeCreateFileEvent 函数,将 sendReplyToClient 函数挂在需要响应的客户端连接的文件描述符上。

static void addReply(redisClient *c, robj *obj) {
   ...
    aeCreateFileEvent(server.el, c->fd, AE_WRITABLE,
    sendReplyToClient, c, NULL) == AE_ERR);
}

好了,这回上一小节挖的坑,终于补上了。

以上这些个破玩意,就是我的启动过程啦,我是不是很可爱。

后记

整篇文章我好像没讲 Redis 为啥那么快,因为我感觉这个问题问得不好。

你可以从接收网络请求的 IO 多路复用角度说起,也可以从事件处理器驱动的 Reactor 模式说起,还可以从具体处理命令时的数据结构说起,比如单单是字符串背后的 sds 其实就做了很多的巧妙设计。

如果我是面试官,我会具体让面试者聊聊 Redis 的启动流程,或者 Redis 处理命令的整个流程。

这里面可挖的点挺多的,如果能谈笑风生,那自然是技术水平还不错。

另外,你会发现本文出现的很多唬人的术语,比如 Reactor 模式,事件处理器等,看一遍 Redis 源码后你会发现真的非常简单。

毫不客气地说,一切丝毫不谈具体实现,和你堆砌一大堆唬人名词的文章或者人,都是在耍流氓。

本文我参考的是 Redis3.0.0 源码,但成文时用的讲解代码是 Redis1.0.0,整个网络模块的设计是完全一样的。

专属附赠

我整理了一份 Redis 启动流程的极简版附注释代码的精美 PDF。

这份PDF, 大家可以加 闪客Sun 的好友获取(低并发编程 菜单栏),哈哈哈。

Redis为什么那么快? 文章目录前言一、Redis为什么那么快?二、“快”因之一:基于内存1.引入库2.读入数据三、“快”因之二:I/O多路复用模型四、“快”因之三:单线程模型五、“快”因之四:高效的数据结构六、“快”因之五:合理的数据编码 前言 根据Redis官方数据可知,Redis的QPS(每秒请求数)可以达到每秒10万。 横轴为连接数,纵轴为QPS。 一、Redis为什么那么快? 二、“快”因之一:基于内存 1.引入库 代码如下(示例): import numpy as np import pandas as pd 阅读详情

相关推荐

Agent + 监控平台:自动诊断告警根因

根因分析、智能监控、AI Agent、告警风暴、异常检测、可观测性、故障诊断在现代分布式系统中,快速定位和解决问题是维持系统稳定性的关键。传统的监控系统虽然能够生成大量告警,但往往缺乏对告警根因的自动诊断能力,导致运维团队在告警风暴中难以快速定位问题。本文深入探讨了将AI Agent技术与监控平台结合,实现告警根因自动诊断的技术架构、理论基础和实现方法。我们将从第一性原理出发,分析根因诊断问题的本质,介绍基于Agent的智能监控系统设计,并通过实际案例展示其应用价值。文章同时涵盖了从理论到实践的全链路,包括

AIGC应用创新大全的博客 305

Redis之epoll和IO多用复用

一、redsi的IO多路复用 redis利用epoll来实现IO多路复用,将连接信息和事件放入队列中,一次放到文件事件分派器,事件分派器将事件分发给事件处理器。 IO多路复用,使用的是linux内核函数,它的使用有三种select、poll、epoll,redis使用的就是epoll进行实现。 在redis中,多个客户端同时进行连接,redis使用epoll,把各个客户端的事件放到队列中,然后又事件派发器找到对应的工作单元。IO多路复用解决就是防止一个读写导致整个进程的阻塞。 Redis服务采用

liming0025的专栏 2235

Retinanet训练自己的数据(2):模型准备

  在上一篇博客中,我们已经处理好了模型需要的数据集,下一步就是准备模型去训练数据。这里提醒一句,在制作数据时,最好将训练集和测试集人为分开。像Google tensorflow API,在制作数据时可以按比例自动生成,但是在上一篇文章中产生的数据(annotation.csv )其实都是用来训练的,如果你把自己的数据集全都转换了,那么恭喜你,最后你会发现没有数据集去测试了。   下面开始模型准...

mingyang_wang的博客 5884

Redis高性能设计之epoll和IO多路复用深度解析

I/O:网络I/O多路:多个客户端连接(连接就是套接字描述符,即socket或者channel),指的是多条TCP连接复用:用一个进程来处理多条的连接,使用单进程就能够实现同时处理多个客户端的连接。总结:实现了用一个进程处理大量的用户连接,IO多路复用类似一个规范和接口落地实现。可以分select->poll->epoll三个阶段来描述。同步阻塞同步非阻塞异步阻塞异步非阻塞。

Hai_pp的博客 2285

保姆级教程:用Unidbg搞定阿里系App的x-sign和长x-mini-wua签名(附完整Java代码)

本文详细介绍了如何使用Unidbg框架模拟执行阿里系App的原生库,生成关键的x-sign和x-mini-wua签名参数。通过完整的Java代码示例和实战技巧,帮助开发者高效实现签名算法,适用于安全研究、数据分析和第三方应用开发场景。

weixin_29243279的博客 491

人脸情绪识别(使用深度学习和OpenCV)

基于opencv与深度学习的人脸情绪识别系统

mx0390304的博客 8251

聊聊redis、epoll和多路IO复用之间的总总关系

这种文章真难写, 都大脑里出来的不知道是不是正确的, 当做一篇纯讨论文章吧。

bangiao的博客 875

YOLOv5改进 | 多尺度特征提取 | 结合多样分支块及融合的高级设计(CVPR2021)

YOLOv5改进 | 多尺度特征提取 | 结合多样分支块及融合的高级设计(CVPR2021)

qq_44224801的博客 2068

简单理解redis epoll运行原理

文章目录I/O模型:BlockingIO(BIO)Non-blocking I/O(NIO)redis epoll为什么epoll快?就绪链表怎么维护? redis 是一个单线程却性能非常好的内存数据库, 主要用来作为缓存系统。 redis 采用网络IO多路复用技术来保证在多连接的时候, 提高系统的高吞吐量。 Redis 是跑在单线程中的,所有的操作都是按照顺序线性执行的,但是由于读写操作等待用户输入或输出都是阻塞的,所以 I/O 操作在一般情况下往往不能直接返回,这会导致某一文件的 I/O 阻塞导致整个进

凹凸曼的博客 2570

【WLAN】【调试】再谈如何使用Wireshark解密WiFi数据包——使用TK信息

- 本文介绍了一种wireshark使用TK信息解密空口报文的方式,该方式对是否有关联过程的报文没有要求。

一介草民,只为生活。 1190

UE5 Niagara基础知识讲解

在UE5版本中,Niagara粒子系统引入了许多可添加的模块,分别用于控制发射器的生成和更新、粒子的生成和更新以及渲染效果。本文采用虚幻5.2.1版本,以图文方式对Niagara基础知识进行讲解。

一碗清深的博客 2472

Redis为什么这么快?

这可能是全网最相信介绍的文章了,面试字节我就是这么回答的。

敖丙 3万+

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

Redis为什么是单线程还这么快?

点关注,不迷路;持续更新Java相关技术及资讯!!! Redis的高并发和快速原因 1.redis是基于内存的,内存的读写速度非常快; 2.redis是单线程的,省去了很多上下文切换线程的时间; 3.redis使用多路复用技术,可以处理并发的连接。非阻塞IO 内部实现采用epoll,采用了epoll+自己实现的简单的事件框架。epoll中的读、写、关闭、连接都转化成了事件,然后利用epoll...

XingXing_Java的博客 1万+

IEM模型,地表粗糙度模拟

利用微波反演土壤水分时候,利用IEM模型可以实现对随机地表的模拟

最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版

Part-E1-SDIO-Specification-Ver4.00-Final-120220.pdf:最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版,包括SDIO 接口的外设,SDIO 接口官方协议等。

Redis为什么这么快

Redis到底是单线程还是多线程

zwx900102的博客 2788

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

为什么说Redis是单线程的以及Redis为什么这么快!

一、前言 近乎所有与Java相关的面试都会问到缓存的问题,基础一点的会问到什么是“二八定律”、什么是“热数据和冷数据”,复杂一点的会问到缓存雪崩、缓存穿透、缓存预热、缓存更新、缓存降级等问题,这些看似不常见的概念,都与我们的缓存服务器相关,一般常用的缓存服务器有Redis、Memcached等,而笔者目前最常用的也只有Redis这一种。 如果你在以前面试的时候还没有遇到过面试官问你《为什么说R...

徐刘根的博客 9万+

Redis 为什么那么快?

redis为什么那么快的原因分析:从架构设计、数据存储、数据类型、网路io交互等各个方面具体分析,有助于大家更快速高效的了解redis的一些基础原理,而不仅仅只是限于我会使用它,但是我不清它的一些原理

bojinyuan00的博客 1975

redis为什么快?

redis为什么快

weixin_43001336的博客 2万+

为什么要用Redis?Redis为什么这么快?

(以下单线程仅指Redis负责存取这块的线程只有一个,而非Redis中只有一个进程) 我先给个我的结论,单线程的Redis在瓶颈是cpu的io时(这不是大多数应用的实际应用场景),确实速度会比多线程慢。但是,我们实际应用场景中很少会遇到瓶颈是CPU的io的情况,这时候单线程优势就凸显出来了。 实现很简单!性能又不会比多线程差,并且,单线程确实不用处理上下文的切换,cpu利用率会比多线程高,这时候采...

徐磊的博客 7320

redis为什么快

Redis 是一个内存数据库,它将所有数据存储在内存中,而不是硬盘上。相比于从磁盘读取数据,内存的访问速度要快得多,极大地提升了性能。: Redis 使用单线程处理客户端请求,避免了线程上下文切换的开销。虽然单线程可能会在某些情况下形成瓶颈,但 Redis 通过事件驱动的方式来处理 I/O 多路复用,使得它在大部分情况下能够非常高效地执行任务。

C18298182575的博客 1509

Redis 为什么面试都问我却不懂?因为它快吗?它为什么快?

作为目前主流的NoSQL技术,redis在多数编程语言中都得到了非常广泛的使用,如果连Redis都没用过,面试容易哑口无言很尴尬。

猫轻王的博客 4002
上一篇: 字节Java全能手册火了!多线程/性能调优/设计模式/Spring全家桶/啥都有!
下一篇: 我决定辞掉工作,全职开发我的操作系统!
码农翻身
码农翻身 《码农翻身》作者 《码农翻身》作者
博客等级 码龄8年 3万+粉丝 1084原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值