Redis数据库笔记——单线程和并发请求

Good Note

已于 2025-02-25 21:32:36 修改

阅读量1k

点赞数 15

CC 4.0 BY-SA版权

分类专栏： Redis数据库笔记文章标签：数据库 redis 笔记缓存并发单线程 sql

于 2025-01-09 10:03:22 首次发布

本文链接：https://blog.youkuaiyun.com/haopingbiji/article/details/145025313

Redis数据库笔记专栏收录该内容

15 篇文章

订阅专栏

大家好，这里是编程Cookbook，关注公众号「编程Cookbook」，获取更多面试资料。本文详细介绍为什么Redis数据库使用单线程还这么快，以及如何处理并发请求。

文章目录

为什么 Redis 使用单线程？
单线程如何处理并发请求？
I/O 多路复用（I/O Multiplexing）
事件驱动模型（Event-driven Model）
Redis 中的结合使用

并发请求处理流程
如何应对 Redis 单线程瓶颈？
Redis 6.0 引入的多线程优化
Redis 的单线程模型的优点

历史文章
MySQL数据库
Redis

Redis 是一个 单线程 的应用，这意味着 Redis 处理所有客户端请求的核心逻辑是在单个线程中完成的。尽管 Redis 使用单线程处理客户端的请求，但它的高性能并不受到影响，官方表明 redis 可以做到每秒近10w的并发。下面是对 Redis 单线程设计的详细介绍。

关注公众号「编程Cookbook」，获取更多编程学习/面试资料！

为什么 Redis 使用单线程？

Redis 的单线程设计并不是一个随意的选择，而是基于以下几个关键因素：

CPU瓶颈不明显：在 Redis 中，瓶颈通常不是 CPU 的计算能力，而是 网络 I/O 和 内存访问。大多数操作都可以在内存中进行，且 Redis 的数据结构和操作都经过高度优化。
减少多线程开销：在多线程模型中，操作系统需要进行 线程切换 和 锁管理，这些都会带来一定的性能开销。尤其是对于数据库这种需要频繁读写内存的应用，使用单线程模型可以避免这些额外的开销。
避免线程安全问题：使用单线程可以完全避免多线程中的 共享内存 和 数据竞争 问题，简化了 Redis 的实现。
高效的 I/O 多路复用：Redis 使用 I/O 多路复用（如 epoll，kqueue 等）技术来处理客户端请求，这意味着 Redis 可以高效地管理多个客户端连接，而不需要为每个客户端分配一个线程。

单线程如何处理并发请求？

虽然 Redis 是单线程的，但它依然可以在高并发场景下高效地工作。I/O 多路复用和事件驱动模型是 Redis 这种单线程系统能够高效处理大量并发请求的核心技术。它们通过高效的 I/O 操作和事件管理机制，使得 Redis 即使在单线程下也能保持高性能。

I/O 多路复用 和 事件驱动模型 使得 Redis 即使在单线程下，也能处理成千上万的并发请求。
I/O 多路复用 通过非阻塞的方式在一个线程中高效地监听多个客户端请求。
事件驱动模型 使得 Redis 能够在事件发生时立即处理请求，而不需要主动轮询。

I/O 多路复用（I/O Multiplexing）

I/O 多路复用是指在单个线程中，同时管理多个 I/O 操作（如读取数据、写入数据），而无需为每个 I/O 操作单独创建线程或进程。这是通过操作系统提供的机制（如 select、poll、epoll、kqueue 等）来实现的。

工作原理：
I/O 多路复用的核心思想是通过 非阻塞模式 在一个线程中同时监控多个 I/O 通道，等待这些通道准备好进行读写操作。当某个通道准备好进行操作时，操作系统通知应用程序，然后应用程序执行该 I/O 操作。

具体步骤如下：

应用程序通过 select、epoll 等函数，向操作系统注册多个 I/O 事件（如：多个套接字的可读、可写事件）。
当任一注册的 I/O 事件满足条件时，操作系统将其返回给应用程序。
应用程序根据返回的事件，进行对应的 I/O 操作。
操作完成后，程序继续返回等待新的事件。

常见的 I/O 多路复用机制：

select：早期的多路复用机制，适用于小型系统。缺点是支持的最大文件描述符数有限，且性能较低。
poll：比 select 更为高效，不限制文件描述符数量，但性能上有一定的瓶颈。
epoll：高效的多路复用机制，仅适用于 Linux 系统，能够处理成千上万的并发连接，是 Redis 默认使用的多路复用机制。相比 select 和 poll，epoll 通过事件驱动机制减少了内核与用户态之间的切换次数，提高了性能。
kqueue：类似于 epoll，用于 BSD 系统（如 macOS）。

优势：

节省线程资源：传统的多线程或多进程模型需要为每个连接分配一个线程或进程，而 I/O 多路复用允许多个连接共享一个线程，大大减少了系统开销。
高效处理大量并发请求：通过事件通知机制，可以高效地处理大量并发的 I/O 请求，避免了阻塞等待。

事件驱动模型（Event-driven Model）

事件驱动模型是指系统在处理请求时不主动去查询请求的状态，而是等待事件的发生，事件一旦发生（ I/O 多路复用监听，来通知事件发生），系统便触发相应的处理逻辑。

在 Redis 中，事件驱动模型和 I/O 多路复用结合使用。Redis 通过事件循环不断轮询 I/O 事件，及时处理并响应客户端请求。

工作原理：

事件循环：Redis 启动一个主循环，不断地等待和处理事件。每次循环检查是否有新的 I/O 事件（如客户端请求），如果有，则立即处理。
事件触发：事件驱动模型的核心是 事件触发机制，当某个事件（例如客户端请求）到来时，系统会触发一个相应的处理函数。例如，当某个客户端发起了写请求时，Redis 会立即读取该请求并执行相应的命令。
回调函数：Redis 将不同的事件映射到不同的回调函数上。每当 I/O 多路复用机制检测到某个事件时，就会触发对应的回调函数，这些回调函数处理具体的操作（如查询数据库、修改数据等）。
非阻塞执行：事件驱动模型采用非阻塞的方式。即使某个操作需要等待（例如执行 BLPOP 等阻塞操作），Redis 依然会继续处理其他请求，不会阻塞整个系统。

优势：

高效利用资源：通过事件回调机制，避免了线程的频繁切换和上下文切换，极大地提高了系统的效率。
响应性高：一旦有事件发生，系统会立即响应，而不需要定时轮询，降低了系统的响应延迟。

Redis 中的结合使用

Redis 是单线程的，但通过将 I/O 多路复用 和 事件驱动模型 结合使用，能够高效地处理并发请求，避免了线程切换和阻塞带来的开销。

Redis 通过 epoll（在 Linux 上）等 I/O 多路复用机制，能够高效地管理大量客户端连接的 I/O 操作。
当客户端有请求时，操作系统会触发一个事件，Redis 在事件循环中执行相应的操作。这样，Redis 在处理请求时始终保持单线程工作，避免了线程切换的开销。
对于阻塞操作（例如 BLPOP），Redis 会将请求挂起，直到满足条件时再进行处理，但在等待时不会阻塞整个线程。

关注公众号「编程Cookbook」，获取更多编程学习/面试资料！

并发请求处理流程

客户端发送请求：多个客户端通过网络连接发送请求，Redis 为每个客户端连接分配一个文件描述符（FD），由操作系统管理。
I/O 多路复用监听连接：Redis 使用 I/O 多路复用机制（如 epoll 或 kqueue）在单线程中同时监听所有文件描述符，检测是否有 I/O 事件（如读事件）发生。
事件驱动模型处理事件：当 I/O 多路复用检测到事件时，Redis 的事件驱动模型会将该事件加入事件循环中，并交由对应的事件处理器（如读取数据、解析命令、执行命令）处理。
命令执行：Redis 按顺序解析客户端发送的命令，在单线程中执行，并将结果写入对应客户端的输出缓冲区。
返回响应：Redis 使用事件驱动模型监听写事件，将结果从输出缓冲区发送回客户端。
循环处理：Redis 的主事件循环不断重复以上流程，高效地处理成千上万的并发请求。

如何应对 Redis 单线程瓶颈？

如果单线程成为瓶颈，Redis 提供了几种解决方案：

Redis 分片：通过 Redis 集群（Redis Cluster）将数据分片到多个 Redis 实例上，分担不同实例的请求压力。每个实例仍然是单线程的，但集群中的多个实例可以同时工作，提供更高的吞吐量。
主从复制/多进程：可以通过主从复制或者在同一台机器启动多个 Redis 实例，每个实例都在独立的进程中工作。
Redis 6.0 引入的多线程：Redis 6.0 在网络 I/O 方面引入了 多线程，目的是提升网络读写性能，尤其是在高并发和大数据量的环境下。这种多线程并不会改变 Redis 的单线程核心执行模型（命令处理还是单线程），而是将网络 I/O 操作分配给多个线程进行处理。

Redis 6.0 引入的多线程优化

Redis 6.0 引入了多线程功能，但它并不改变 Redis 的单线程命令执行模型。主要的优化体现在：

多线程处理 I/O 操作：Redis 将主线程的 I/O 任务拆分给多个线程处理，这样就可以并行地读取和写入多个 socket，从而提高网络 I/O 性能。
减少 I/O 阻塞时间：通过多线程处理，Redis 可以更高效地处理大量的 I/O 请求，尤其在处理高并发情况下表现出色。

配置说明：Redis 6.0 默认是禁用多线程的，可以通过配置文件启用。通过设置 io-threads-do-reads 为 true 和 io-threads 指定线程数来启用多线程。