Redis有哪些阻塞点以及如何解决？

最新推荐文章于 2024-12-23 19:47:17 发布
原创 最新推荐文章于 2024-12-23 19:47:17 发布 · 626 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#redis #缓存 #数据库 #Redis #Redis 面试题

本文探讨了Redis的性能影响因素，包括客户端阻塞、磁盘操作、主从节点同步以及切片集群的数据迁移。重点讨论了Redis的阻塞点，如全量查询、bigkey删除、数据库清空、AOF日志同步和从库加载RDB文件，并提出异步机制如lazy-free来解决阻塞问题。建议避免使用bigkey以优化Redis性能。

前言

俗话说得好，系统慢不用怕，没有什么是加一层缓存解决不了的，一层不行的话，就加两层。

但加缓存也并不是一劳永逸的，就哪 Redis 来说，还是有很多因素会影响 Redis 性能的，本文就来说一说其中的一些阻塞点，以及如何解决。一键获取最新java文档。

在这里插入图片描述

说到 Redis，大家自然而然的会想到基于内存、单线程执行等。话说回来，Redis 真的只有单线程吗？这篇文章来说说 Redis
的异步机制。

影响 Redis 性能的因素

我们从 Redis 内部及外部因素总结一下，主要有：

  • Redis 内部的阻塞式操作
  • CPU 核和 NUMA 架构的影响
  • Redis 关键系统配置
  • Redis 内存碎片
  • Redis 缓冲区

首先说说 Redis 实例的阻塞点：

  • 客户端：网络 IO，键值对的增删改查操作，数据库操作；
  • 磁盘：生成 RDB 快照，记录 AOF 日志，AOF 日志重写；
  • 主从节点：主库生成、传输 RDB 文件，从库接收 RDB 文件、清空数据库、加载 RDB 文件；
  • 切片集群实例：向其他实例传输哈希槽信息，数据迁移。

客户端的阻塞

最低0.47元/天 解锁文章
【面试题】说一下Redis中有哪些阻塞点以及如何解决？
wjianwei666的专栏
06-09 77
Redis 中的优秀设计有很多，今天我们一起来聊聊群友刷题遇到的：“Redis的异步机制 —— redis有哪些阻塞点以及如何解决？”前言说到 Redis，大家自然而然的会想到基于内存、单线程执行等。话说回来，Redis 真的只有单线程吗？这篇文章来说说 Redis 的异步机制。我们从 Redis 内部及外部因素总结一下，主要有：redis 内部的阻塞式操作CPU 核和 NUMA 架构的影响Redis 关键系统配置Redis 内存碎片Redis 缓冲区首先说说 Redis 实例的阻塞点：客户端：网络 IO，
Redis中Big Key该如何解决？
echola_mendes的博客
08-16 2499
Redis的Big Key会给Redis带来的意想不到的危害，需要监控、及时发现和处理Big Key。在开发过程中需要选用适当的Redis数据结构开发业务，尽量避免big key。
聊聊Redis中有哪些阻塞点以及如何解决？
m0_71777195的博客
10-13 799
说到 Redis，大家自然而然的会想到基于内存、单线程执行等。话说回来，Redis 真的只有单线程吗？这篇文章来说说 Redis 的异步机制。
Redis高性能原因解析——Redis内部的阻塞式操作及应对方法
linuxguitu的博客
01-13 1293
Redis被广泛使用的一个很重要的原因是它的高性能。因此我们必要要重视所有可能影响Redis性能的因素、机制以及应对方案。影响Redis性能的五大方面的潜在因素，分别是： Redis内部的阻塞式操作 CPU核和NUMA架构的影响 Redis关键系统配置 Redis内存碎片 Redis缓冲区 本篇文章我们主要了解Redis内部的阻塞式操作以及应对方法。 Redis实例有哪些阻塞点 在分析阻塞点前，我们先来看看和Redis实例交互的对象和操作有哪些： 客户端：网络IO，键值对增删改查操作，数据库
Redis阻塞的9种情况浅谈
hdxx2022的博客
08-08 624
本文主要介绍了浅谈Redis阻塞的9种情况，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧前两天去美团面试的陈同学回来了，看他满脸泄气的样子，准是没拿到 Offer。听了他面试的经过，真替他感到惋惜。究其原因，是被一道面试题拦住了去路：看你简历上写着精通 Redis，请你总结一下 Redis 中存在的阻塞问题吧。正好阿Q这几天正在研究 Redis，就顺便在这儿给大家做个总结。
redis内部会导致主线程阻塞的点以及对应的解决方案
公众号：该用户快成仙了
10-28 545
本文主要介绍redis内部会导致主线程阻塞的点以及对应的解决方案。 主要阻塞点 redis内部主要有五个阻塞点，其中三个可以通过异步解决，从而避开对redis主线程的阻塞。如下图所示。 redis异步机制 Redis启动后，会创建三个子线程用于aof日志异步写入，异步数据删除（bigkey删除和清空数据库）以及异步文件关闭。 无法异步的阻塞操作优化 集合操作和RDB加载属于redis操作的关键路径（客户端必须要拿到真正的执行结果）是没办法做成异步操作的，对于这两类操作只能做优化，
【Redis】阻塞问题
学习 - 总结 - 分享 - Francis
09-07 1675
  Redis是单线程架构，在高并发的场景下，如果出现阻塞，会有严重后果，以下就是对阻塞问题的分析排查和解决   内在原因 API 或 数据结构 使用不合理 排查： 发现慢查询：执行 slowlog get {n} 发现大对象：执行 redis-cli -h {ip} -p {port} --bigkeys 解决： 解决慢查询：调整命令为低算法度命令...
Redis中的潜在阻塞点及其解决方案
我是一名热爱编程和分享知识的技术作者，在金融和教育领域有多年的研发管理经验，感谢您访问我的博客，一定会为您带来不一样的收货！
08-07 1174
Redis 作为高性能的键值对存储系统，在实际项目中得到了广泛的应用。但是在使用中我们必须重视有可能影响 Redis 性能的各种因素，本篇文章就带你了解可能会引起 Redis 阻塞的各种因素及解决方案。
探寻Redis的世界：Redis常见阻塞原因总结
zxyhj的博客
03-19 1473
Swap 直译过来是交换的意思，Linux 中的 Swap 常被称为内存交换或者交换分区。类似于 Windows 中的虚拟内存，就是当内存不足的时候，把一部分硬盘空间虚拟成内存使用，从而解决内存容量不足的情况。因此，Swap 分区的作用就是牺牲硬盘，增加内存，解决 VPS 内存不够用或者爆满的问题。Swap 对于 Redis 来说是非常致命的，Redis 保证高性能的一个重要前提是所有的数据在内存中。
redis 硬件要求_Redis时延问题分析及应对
weixin_39516865的博客
11-26 282
点击上方☝Java编程技术乐园，轻松关注！及时获取有趣有料的技术文章Redis时延问题分析及应对Redis的事件循环在一个线程中处理，作为一个单线程程序，重要的是要保证事件处理的时延短，这样，事件循环中的后续任务才不会阻塞；当redis的数据量达到一定级别后(比如20G)，阻塞操作对性能的影响尤为严重；下面我们总结下在redis中有哪些耗时的场景及应对方法；耗时长的命令造成阻塞keys、sort等...
Redis阻塞原因以及排查方法
冢狐的私人空间
11-24 8374
虽然我们在日常工作中常常使用Redis来充当数据库的缓存，从而大大缓解数据库的压力以及提高用户的体验感，但是Redis也会存在阻塞的情况，导致整个系统变慢，从而影响用户体验。 所以我们在针对Redis阻塞的情况下可以从以下七个方面来整体的进行分析，看看到底是哪里导致了Redis的阻塞。 慢查询 bigkey大对象 swap fork子进程 AOF刷盘阻塞 Redis输入、输出缓冲区导致的阻塞 网络问题 慢查询 因为Redis是单线程的，所以如果出现大量的慢查询，可能会导致redis-server阻塞，可
redis阻塞了怎么办
weixin_43924166的博客
04-21 1728
单线程你别阻塞，Redis时延问题分析及应对 Redis的事件循环在一个线程中处理，作为一个单线程程序，重要的是要保证事件处理的时延短，这样，事件循环中的后续任务才不会阻塞；当redis的数据量达到一定级别后（比如20G），阻塞操作对性能的影响尤为严重；下面我们总结下在redis中有哪些耗时的场景及应对方法； 耗时长的命令造成阻塞 keys、sort等命令 keys命令用于查找所有符合...
揭秘Redis阻塞现象：全面解析原因与应对策略
知行同学
03-31 968
理解Redis可能遭遇的阻塞场景，掌握有效的预防与应对措施，是确保应用顺畅运行、提升系统稳定性的关键。深入理解阻塞原因，实施针对性的预防与优化措施，是保障Redis服务高效稳定的关键。优化网络架构，确保网络带宽充足，使用高效客户端库，避免网络层成为性能瓶颈。不恰当的API调用（如大量慢查询、未优化的批量操作）或不合适的数据结构选择，可能导致Redis内部操作复杂度过高，引发阻塞。实施全面的Redis性能监控，包括CPU、内存、网络、磁盘IO等关键指标，设置合理的阈值报警，及时发现潜在阻塞风险。
老卫带你学---redis阻塞问题及其处理
老卫带你学
08-10 1849
老卫带你学—redis阻塞问题及其处理 本文将分成两个方面来介绍redis阻塞 内在原因 API或数据结构使用不合理 CPU饱和 持久化相关的阻塞 1. API或数据结构使用不合理 通常Redis执行命令速度非常快，但也存在例外，如对一个包含上万个元素的hash结构执行hgetall操作，由于数据量比较大且命令算法复杂度是O（n），这条命令执行速度必然很慢。这个问题就是典型的不合理使用API和数据结构。对于高并发的场景我们应该尽量避免在大对象上执行算法复杂度超过O（n）的命令。 1.1 如何发现慢查询
Redis中有哪些阻塞点以及如何解决?
zy1992As的博客
05-29 610
对于慢查询命令，应该避免在生产环境中执行复杂的查询，或者将查询操作分解成多个较小的操作。通过使用事务，可以确保多个写入操作以原子方式执行，从而避免了并发写入时可能出现的阻塞问题。1.阻塞操作：某些Redis操作可以导致阻塞，例如阻塞式的读取命令(如BLPOP、BRPOP)或慢查询命令(如SORT、KEYS)。解决方法：使用Redis的事务(Transaction)功能可以将多个写入操作打包成一个原子性的操作序列。2.高并发写入：在高并发写入的情况下，当多个客户端同时请求写入操作时，可能会出现阻塞。
redis单线程模型阻塞问题浅析
java_cch的博客
04-10 2040
redis知识速览 解决问题很好的一个方式就是先建立起“系统观”。这也就是说，如果我们想要深入理解和优化 Redis，就必须要对它的总体架构和关键模块有一个全局的认知，然后再深入到具体的技术点。 redis6.0之后就是多线程版本的了。 好久没写了，今日就浅分享一下我的第一次在公司的技术分享吧，拿走吧，拿这个和面试官过招。 两大维度和三大主线 redis常见问题图 举个例子，如果你遇到了 Redis 的响应变慢问题，对照着这张图，你就可以发现，这个问题和 Redis 的性能主线相关，而性能主线又和数据结
Redis内部的阻塞式操作以及应对方法
qq_38862257的博客
01-23 1478
分析Redis内部的阻塞式操作及应对方法
Redis常见阻塞原因
weixin_47786582的博客
07-18 806
使用时间复杂度O（n）的不当命令造成全表扫描，导致阻塞如 keys * 获取所有key。
Redis常见阻塞原因总结
2301_78714573的博客
12-23 1110
所以，如果一下子释放了大量内存，空闲内存块链表操作时间就会增加，相应地就会造成 Redis 主线程的阻塞，如果主线程发生了阻塞，其他所有请求可能都会超时，超时越来越多，会造成 Redis 连接耗尽，产生各种异常。由于这些命令时间复杂度是 O(n)，有时候也会全表扫描，随着 n 的增大，执行耗时也会越长，从而导致客户端阻塞。执行迁移时，两端的 Redis 均会进入时长不等的阻塞状态，对于小 Key，该时间可以忽略不计，但如果一旦 Key 的内存使用过大，严重的时候会触发集群内的故障转移，造成不必要的切换。
redis的big key问题是什么？该如何解决？
最新发布
06-17
### Redis Big Key 问题及解决方案 Redis 中的 Big Key 是指存储了大量数据的键，其可能包含大量的元素（例如列表、集合、哈希等）。Big Key 的存在会对 Redis 的性能产生显著影响，尤其是在删除或操作这些键时，可能会导致 Redis 停顿，从而影响业务程序的响应速度。以下是关于 Redis Big Key 问题及其解决方案的详细说明。 #### 1. Big Key 的影响 Big Key 的主要问题在于其对 Redis 性能的影响。当 Redis 需要处理 Big Key 时，可能会导致以下问题： - **阻塞主线程**：Redis 是单线程模型，Big Key 的操作（如删除、迁移）会阻塞主线程，导致其他请求无法及时处理[^2]。 - **内存占用高**：Big Key 占用大量内存，可能导致内存不足或其他键的驱逐问题。 - **备份耗时**：在进行 RDB 快照时，Big Key 会导致备份时间延长，增加系统负载[^4]。 #### 2. 扫描和识别 Big Key 为了有效解决 Big Key 问题，首先需要找到这些键。可以使用以下命令扫描 Redis 中的所有键，并识别出前 1000 个 Big Key： ```bash redis-cli --scan --pattern '*' --count 1000 | xargs -n 1 redis-cli DEBUG OBJECT ``` 此外，`redis-cli --bigkeys` 命令也可以帮助快速定位 Big Key： ```bash redis-cli -a "password" --bigkeys 5 ``` 该命令会根据键的类型和大小，输出潜在的 Big Key 列表[^1]。 #### 3. 解决 Big Key 问题的方法 针对 Big Key 问题，可以从以下几个方面入手： ##### (1) **拆分 Big Key** 将 Big Key 拆分为多个小键，减少单个键的数据量。例如，对于一个包含大量字段的哈希键，可以将其拆分为多个较小的哈希键[^1]。代码示例如下： ```python # 原始大键 redis.hset("big_key", "field1", "value1") redis.hset("big_key", "field2", "value2") # 拆分后的多个小键 redis.hset("small_key_1", "field1", "value1") redis.hset("small_key_2", "field2", "value2") ``` ##### (2) **选择合适的数据结构** 根据数据的特点，选择更适合的数据结构以减少单个键的大小。例如，对于大数据集，可以考虑使用 Redis 的 Bitmap 或 HyperLogLog 数据结构来替代传统的列表或集合[^3]。 ##### (3) **优雅地删除 Big Key** 直接删除 Big Key 可能会导致 Redis 阻塞，因此可以使用 `UNLINK` 命令代替 `DEL`。`UNLINK` 会立即返回，并在后台异步释放内存。示例代码如下： ```python # 使用 DEL 删除 Big Key（可能会阻塞） redis.delete("big_key") # 使用 UNLINK 删除 Big Key（异步释放内存） redis.unlink("big_key") ``` ##### (4) **定期检查和优化** 由于 Big Key 的形成可能是由于业务逻辑或数据增长导致的，因此需要定期检查 Redis 实例中的键分布情况，并优化存储方式。可以通过脚本自动化检查和优化过程[^2]。 #### 4. 其他注意事项 - **硬件环境**：确保 Redis 运行在高性能的硬件环境中，以减少 Big Key 操作带来的影响。 - **版本升级**：使用最新版本的 Redis，因为新版本通常会提供更好的性能优化和工具支持。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值