21 Redis缓冲区

最新推荐文章于 2025-03-02 03:30:00 发布

pdfcxc

最新推荐文章于 2025-03-02 03:30:00 发布

阅读量315

点赞数

分类专栏： Redis

原文链接：https://time.geekbang.org/column/article/291277

版权

Redis 专栏收录该内容

7 篇文章

订阅专栏

缓冲区主要是用一块内存空间来暂时存放命令数据，以免出现因为数据和命令的处理速度慢于发送速度而导致的数据丢失和性能问题。但因为缓冲区的内存空间有限，如果往里面写入数据的速度持续地大于从里面读取数据的速度，就会导致缓冲区需要越来越多的内存来暂存数据。当缓冲区占用的内存超出了设定的上限阈值时，就会出现缓冲区溢出。

Redis是典型的client-server架构，所有的操作命令都需要通过客户端发送给服务器端。所以缓冲区在Redis中的一个主要应用场景就是在客户端和服务器端之间进行通信时，用来暂存客户端发送的命令数据，或者是服务器端返回给客户端的数据结果。此外，缓冲区的另一个主要应用场景是在主从节点间进行数据同步时，用来暂存主节点接收的写命令和数据。

客户端输入和输出缓冲区

为了避免客户端和服务器端的请求发送和处理速度不匹配，服务器端给每个连接的客户端都设置了一个输入缓冲区和输出缓冲区，我们称之为客户端输入缓冲区和输出缓冲区。

输入缓冲区会先把客户端发送过来的命令暂存起来，Redis主线程再从输入缓冲区中读取命令，进行处理。当Redis主线程处理完数据之后，会把结果写入到输出缓冲区，再通过输出缓冲区返回给客户端，如下图所示：
在这里插入图片描述

如何应对客户端输入缓冲区溢出

导致溢出的情况：

写入了bigkey，比如一下子写入了多个百万级别的集合类型数据；
服务器端处理请求的速度过慢，例如Redis主线程出现了间歇性阻塞，无法及时处理正常发送的请求，导致客户端发送的请求在缓冲区越积越多。

要查看和服务器端相连的每个客户端对输入缓冲区的使用情况，我们可以使用CLIENT LIST命令：

CLIENT LIST
id=5 addr=127.0.0.1:50487 fd=9 name= age=4 idle=0 flags=N db=0 sub=0 psub=0 multi=-1 qbuf=26 qbuf-free=32742 obl=0 oll=0 omem=0 events=r cmd=client

CLIENT命令返回的信息很多，但我们只需重点关注两类信息：

一类是与服务器端连接的客户端的信息，addr会显示不同客户端的IP和端口号
另一类是与输入缓冲区相关的三个参数：
- cmd表示客户端最新执行的命令。
- qbuf表示输入缓冲区已经使用的大小
- qbuf-free表示输入缓冲区尚未使用的大小

通常情况下，Redis服务器端不止服务一个客户端，当多个客户端连接占用的内存总量，超过了Redis的maxmemory配置项时，就会触发Redis进行数据淘汰。

避免输入缓冲区溢出

从两个角度考虑：

把缓冲区调大
从数据命令的发送和处理速度入手
Redis 的客户端输入缓冲区大小的上限阈值，在代码中就设定为了 1GB。没有参数可以配置

Redis输出缓冲区

Redis输出缓冲区包括两个部分：

一部分是一个大小为16KB的固定缓冲区，用来暂存OK响应和出错信息
另一部分是一个可以动态增加的缓冲空间，用来暂存大小可变的响应结果。

Redis输出缓冲区溢出的情况

服务器端返回bigkey的大量结果
执行了MONITOR命令
缓冲区大小设置得不合理

bigkey原本就会占用大量的内存空间，所以服务器端返回的结果包含bigkey，必然会影响输出缓冲区

MONITOR命令是用来监测Redis执行的，会持续输出监测到的各个命令操作。MONITOR的输出结果会持续占用输出缓冲区，并越占越多，最后发生溢出。不要在生产环境中持续使用MONITOR。

输出缓冲区大小可以通过client-output-buffer-limit 配置项来调整，具体设置的内容包括两方面：

设置缓冲区大小的上限阈值
设置缓冲区持续写入数据的数量上限阈值，和持续写入数据的时间的上限阈值

对于不同的客户端类型，client-output-buffer-limit会有不同的设置策略。Redis中有两种客户端类型：

常规和Redis服务器端进行读写命令交互的普通客户端
订阅了Redis频道的订阅客户端

普通客户端设置输出缓冲区大小：
client-output-buffer-limit normal 0 0 0
其中，normal 表示当前设置的是普通客户端，第 1 个 0 设置的是缓冲区大小限制，第 2 个 0 和第 3 个 0 分别表示缓冲区持续写入量限制和持续写入时间限制。0表示不做限制。
对于普通客户端来说，它每发送一个请求，会等到请求结果返回后，再发送下一个请求，这种发送方式称为阻塞式发送。在这种情况下，如果不是读取体量特别大的bigkey，服务器端的输出缓冲区一般不会被阻塞。

订阅客户端设置缓冲区大小：
对于订阅客户端来说，一旦订阅的Redis频道有消息，服务器端都会通过输出缓冲区把消息发送给客户端，不属于阻塞式发送。因此我们会给订阅客户端设置缓冲区大小限制、缓冲区持续写入量限制，以及持续写入时间限制：
client-output-buffer-limit pubsub 8mb 2mb 60
pubsub 参数表示当前是对订阅客户端进行设置；8mb 表示输出缓冲区的大小上限为 8MB，一旦实际占用的缓冲区大小要超过 8MB，服务器端就会直接关闭客户端的连接；2mb 和 60 表示，如果连续 60 秒内对输出缓冲区的写入量超过 2MB 的话，服务器端也会关闭客户端连接

主从集群中的缓冲区

主从集群间的数据复制包括全量复制和增量复制两种。全量复制是同步所有数据，增量复制只会把主从库网络断连期间主库收到的命令，同步给从库。为保证主从节点的数据一致性，这两种形式的复制都会用到缓冲区。

复制缓冲区的溢出问题

在全量复制过程中，主节点在向从节点传输RDB文件的同时，会持续接收客户端发送的写命令请求。这些写命令请求就会先保存在复制缓冲区中，等RDB文件传输完成后，再发送给从节点去执行。主节点上会为每个从节点都维护一个复制缓冲区，来保证主从节点间的数据同步。
在这里插入图片描述
所以如果在全量复制时，从节点接收和加载RDB较慢，同时主节点接收到了大量的写命令，写命令在复制缓冲区中就会越积越多，最终导致溢出。

其实，主节点上的复制缓冲区，本质上也是一个用于和从节点连接的客户端（我们称之为从节点客户端），使用的输出缓冲区。复制缓冲区一旦发生溢出，主节点也会直接关闭和从节点进行复制操作的连接，导致全量复制失败。

如何避免复制缓冲区发生溢出？

一方面，可以控制主节点保存的数据量大小。主节点的数据量通常控制在2~4GB，这样全量同步执行更快，避免复制缓冲区累积过多命令。
另一方面，我们可以使用 client-output-buffer-limit 配置项，来设置合理的复制缓冲区大小。设置的依据，就是主节点的数据量大小、主节点的写负载压力和主节点本身的内存大小。

config set client-output-buffer-limit slave 512mb 128mb 60

其中，slave 参数表明该配置项是针对复制缓冲区的。512mb 代表将缓冲区大小的上限设置为 512MB；128mb 和 60 代表的设置是，如果连续 60 秒内的写入量超过 128MB 的话，也会触发缓冲区溢出。

复制积压缓冲区的溢出问题

增量复制时使用的缓冲区称为复制积压缓冲区。

主节点在把接收到的写命令同步给从节点的时候，同时会把这些写命令写入复制积压缓冲区。

主节点在把接收到的写命令同步给从节点时，同时会把这些写命令写入复制积压缓冲区。一旦从节点发生网络闪断，再次和主节点恢复连接后，从节点就会从复制积压缓冲区中读取断连期间主节点接收到的写命令，进而进行增量同步。
在这里插入图片描述
首先，复制积压缓冲区是一个大小有限的环形缓冲区。当主节点把复制积压缓冲区写满后，会覆盖缓冲区中的旧命令数据。如果从节点还没有同步这些旧命令数据，就会造成主从节点间重新开始执行全量复制。