Redis bigkeys命令会阻塞吗？怎么解决？

已于 2023-03-24 09:41:45 修改
阅读量4.7k 收藏 41
点赞数 51
CC 4.0 BY-SA版权
分类专栏： 数据库基础教程系列 文章标签： java redis 数据库 分布式
于 2023-03-23 22:08:46 首次发布
本文为博主原创文章，未经博主允许不得转载。
本文链接：https://blog.youkuaiyun.com/guorui_java/article/details/129637212
本文讲述了Redis中执行危险命令如`keys *`可能导致的问题，分享了一个顺丰高级开发工程师因执行此命令导致400万损失的案例。通过测试1000万数据的性能，指出使用`keys *`的弊端，并推荐使用`scan`命令替代。此外，文章讨论了如何避免和处理bigkey，包括遵循阿里云Redis开发规范、渐进式删除bigkey及检测bigkey的方法。

在这里插入图片描述

目录

专栏导读

🏆作者简介：哪吒，优快云2022博客之星Top1、优快云2021博客之星Top2、多届新星计划导师✌、博客专家💪 ，专注Java硬核干货分享，立志做到Java赛道全网Top N。

🏆本文收录于Java基础教程系列（进阶篇），本专栏是针对大学生、初级Java工程师精心打造，针对Java生态，逐个击破，不断学习，打通Java技术栈。

🏆订阅后，可以阅读Java基础教程系列（进阶篇）中全部文章，包含Java基础、Java高并发、Spring、MySQL等Java进阶技术栈。

🏆还可以订阅其姐妹篇，Java基础教程系列，包含全部Java基础知识点、Java8新特性、Java集合、Java多线程、Java代码实例，理论结合实战，实现Java的轻松学习。

🏆哪吒多年工作总结：

了解本专栏 订阅专栏 解锁全文
简述redis数据量过大怎么办 ？
weixin_39291964的博客
06-30 236
【代码】简述redis数据量过大怎么办？
redis bigKey影响
qq690452074的专栏
03-21 270
redis bigKey影响
Redis中的bigkey的介绍及影响
最新发布
weixin_50055999的博客
06-23 1640
Redis中的大key问题（BigKey）是指某个key对应的value占用内存过大或元素数量过多，导致性能下降、内存碎片化、网络阻塞等一系列问题。大key通常定义为字符串类型value超过1MB或集合类型元素超过1万个。主要影响包括Redis单线程阻塞、内存不均衡、持久化风险及集群运维困难。解决方案包括合理设计数据结构、拆分大key、设置过期时间、启用内存淘汰策略、数据压缩及渐进式删除等。通过定期监控和优化，可有效缓解大key问题，保障Redis高性能运行。
【Redis】Redis Bigkey问题
kuangd_1992的博客
05-01 901
1、海量数据里面如何查询某一固定前缀的key？2、如何在生产上禁用等危险命令以防止误删误用？3、命令是否使用过？4、BigKey问题，多大算big？如何发现？如何删除？如何处理？5、BigKey如何调优？惰性释放lazyfree？6、Morekey问题，生产上redis数据库有1000W记录，如何遍历？key * 可以吗？
Redis BigKey 的处理和隐患
DespairC的博客
09-14 536
误区：BigKey 并不是指的key很大，而是value很大为什么会产生这种情况？：一般来说，key是由我们代码指定的，比如 uid + “:” + orderid，所以 key 的大小是可以预估出来的，不会太大。而value是要写入的值，不是受代码去控制的，可能会导致value很大大情况发生发生的场景音乐歌单的情况，用户和歌单的映射关系储存在Redis当中，通常情况下，一个歌单可能被多个用户去订阅，也就是一对多的情况，需要用一个list去储存用户id。
Redis之bigkey问题解读
一个菜鸡的博客
09-01 1620
目录什么是bigkey？bigkey引发的问题如何查找bigkeyredis-cli --bigkeysMEMORY USAGEbigKey如何删除渐进式删除unlinkbigKey生产调优bigkey简单来说就是存储本身的key值空间太大，或者hash，list，set等存储中value值过多。具体来衡量的话大key是：可以通过redis客户端提供的命令 redis-cli --bigkeys来查看 好处：给出每种数据结构Top 1 bigkey，同时给出每种数据类型的键值个数+平均大小 不足：想查询
Redis中Big Key该如何解决？
echola_mendes的博客
08-16 2468
Redis的Big Key会给Redis带来的意想不到的危害，需要监控、及时发现和处理Big Key。在开发过程中需要选用适当的Redis数据结构开发业务，尽量避免big key。
Redis7——进阶篇（二）
想飞的dragon
03-03 1420
本篇旨在学习Redis 中 BigKey 和 MoreKey 的处理策略，剖析如何有效应对这两类问题。此外，在面试中，掌握这两种场景问题的解答技巧，能够更容易拿下offer
【redis的大key问题】
m0_50116974的博客
08-13 1659
在Redis中，大Key是指占用了较多内存空间的键值对。大Key的定义实际是相对的，通常以Key的大小和Key中成员的数量来综合判定，例如：注意：上述例子中的具体数值仅供参考，在实际业务中，您需要根据Redis的实际业务场景进行综合判断。本文介绍了大Key在Redis中的定义以及可能引发的问题。介绍了快速找出大Key的方法以及对于大Key的优化方案。通过合理的优化方案，可以提升Redis的性能和用户体验。希望本文对您有所帮助。如果有任何错误或建议，请随时指正和提出。
【HBZ分享】Redis的Bigkey问题
a645293829的博客
06-29 314
Redis的Bigkey问题
Redis的big key问题介绍以及监控手段
hbnn111的专栏
02-01 2115
Redis 的big key是指value占用内存空间较大的键值。通常，针对不同的数据类型会用元素个数或者占用空间大小来衡量bigKey：String：value占用空间超过5MB（实际使用避免超过1MB）；集合(list，set，zset）：成员数量超过1万个（实际使用避免超过2000个）；hash：field成员个数1000个，但value总大小超过100M（实际避免超过10MB)；
Redis常见阻塞原因总结
2301_78714573的博客
12-23 1098
所以，如果一下子释放了大量内存，空闲内存块链表操作时间就会增加，相应地就会造成 Redis 主线程的阻塞，如果主线程发生了阻塞，其他所有请求可能都会超时，超时越来越多，会造成 Redis 连接耗尽，产生各种异常。由于这些命令时间复杂度是 O(n)，有时候也会全表扫描，随着 n 的增大，执行耗时也会越长，从而导致客户端阻塞。执行迁移时，两端的 Redis 均会进入时长不等的阻塞状态，对于小 Key，该时间可以忽略不计，但如果一旦 Key 的内存使用过大，严重的时候会触发集群内的故障转移，造成不必要的切换。
Redis BigKey问题
斌斌(Java)
10-08 1438
例如，如果需要频繁地查询某个范围内的元素，可以考虑使用有序集合（Sorted Set）而不是列表（List）。如果需要在网络上传输BigKey的数据（如主从复制、集群同步等），可能会导致网络传输延迟增加，影响系统的整体性能。例如，将一个大的列表拆分成多个小列表，或者将一个大的哈希表拆分成多个小哈希表。在进行RDB持久化或AOF日志备份时，BigKey会导致备份文件变得非常大，从而增加备份和恢复的时间。通过以上方法，可以有效地发现和解决Redis中的BigKey问题，提高系统的性能和稳定性。
Redis Bigkey问题的解决思路与方式探索
架构文摘
11-20 1239
作者：vivo 互联网数据库团队- Du Ting在Redis运维过程中，由于Bigkey 的存在，会影响业务程序的响应速度，严重的还会造成可用性损失，DBA也一直和业务开发方强调 Bigkey 的规避方法以及危害。一、背景在Redis运维过程中，由于Bigkey的存在，会影响业务程序的响应速度，严重的还会造成可用性损失，DBA也一直和业务开发方强调 Bigkey 的规避方法以及危害，但是Bigk...
Redis核心技术-性能-实战（查找bigKey、hotkey）
ALONG的博客
02-04 2871
bigkeys 是以 scan 延迟计算的方式扫描所有 key，因此执行过程中不会阻塞 redis，但实例存在大量的 keys 时，命令执行的时间会很长，这种情况建议在 slave 上扫描。–bigkeys 是 redis 自带的命令，对整个 Key 进行扫描，统计 string，list，set，zset，hash 这几个常见数据类型中每种类型里的最大的 key。等问题，这个时候就需要排查 Redis 的大key去优化业务了，下面提供一些排查方案总结。多大的 key 算大呢？如何查询key大小？
炸了！Redis bigkey导致生产事故！
石杉的架构笔记
04-19 907
文章来源：【公众号：BiggerBoy】目录什么是 bigkey？危害是什么？怎么产生的？如何发现线上是否存在 bigkey？如何消除 bigkey？如何优雅删除 bigkey这篇文章给大家分享一个 Redis 生产事故的复盘，主要分析 Redis 中的 bigkey 相关问题。什么是 bigkey？在 Redis 中数据都是 key-value 的形式存储的。bigke...
redis丢key和bigkey的问题
Canger_的博客
04-18 1184
丢key （缓存污染 现象：现场老是出现redis-key丢失的情况，昨天的key今天就没了 排查角度： 1、key是否设置过期时间 2、检查key的删除逻辑 3、查看redis中已使用的内存是否接近maxmemory，导致触发了内存淘汰策略 如果是第三种情况，则根据业务场景需要设置一下config 修改redis-config 修改maxmemory 修改maxmemory-policy 由 allkeys-lru改为 volatile-lru 查看哪些key占用了比较多的内存(bigke
Redis 排查大 key 的3种方法，优化必备
LoveSummer
07-04 1万+
Redis 实践总结（仅供参考）：合理的 Key 中 Value 的字节大小，推荐小于 10 KB。过大的 Value 会引发数据倾斜、热点Key、实例流量或 CPU 性能被占满等问题，应从设计源头上避免此类问题带来的性能影响。那么 value Bytes > 10 kb 可以作为判断 大 key 的一个参考值。 是 redis 自带的命令，对整个 Key 进行扫描，统计 string，list，set，zset，hash 这几个常见数据类型中每种类型里的最大的 key。string 类型统计的是 valu
Redis—大key问题讨论及解决方案
热门推荐
zhulj625的博客
06-11 3万+
一、问题背景 所谓的bigkey就是存储本身的key值空间太大，或者hash，list，set等存储中value值过多。 主要包括： 1、单个简单的key存储的value很大 2、hash， set，zset，list 中存储过多的元素 3、一个集群存储了上亿的key bigkey会带来一些问题，如： 1.读写bigkey会导致超时严重，甚至阻塞服务。 2.大key相关的删除或者自动过期时，会出现qp...
redis如何如何排查大key ？redis过期策略
05-13
首先，针对排查大Key的方法，我需要列举常用的工具和方法，比如使用redis-cli的--bigkeys参数、memory usage命令、SCAN结合debug object等。同时，要提到第三方工具如Redis RDB Tools，并解释每种方法的优缺点，比如...
评论 38
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

哪 吒

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值