Redis之大key问题

最新推荐文章于 2025-08-04 16:21:47 发布
最新推荐文章于 2025-08-04 16:21:47 发布
阅读量1k 收藏 13
点赞数 23
CC 4.0 BY-SA版权
分类专栏： Redis 文章标签： redis 数据库 缓存
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_26641137/article/details/146329671

BigKey

常见面试题目 你会么？
在这里插入图片描述
MoreKey 案例
大批量往redis里面插入2000W测试数据key
Linux Bash下面执行，批量插入100W

for((i=1;i<=100*10000;i++)); do echo "set k$i v$i" >> /tmp/redisTest.txt ;done;

在这里插入图片描述
生成100W条redis批量设置kv的语句(key=kn,value=vn)写入到/tmp目录下的redisTest.txt文件中
在这里插入图片描述
通过redis提供的管道–pipe命插入100W大批量数据

cat /tmp/redisTest.txt | /opt/redis-7.0.0/src/redis-cli -h 127.0.0.1 -p 6379 -a 111111 --pipe

在这里插入图片描述
dbsize 查看key的数目
在这里插入图片描述
keys * 遍历100W的数据需要多久？
在这里插入图片描述
keys * 命令存在的弊端
在这里插入图片描述
生产上限制keys /flushdb/flushall等危险命令以防止误删误用？

通过配置设置禁用这些命令，redis.conf在SECURITY这一项中
在这里插入图片描述
不用keys *避免卡顿，那应该用什么操作呢？

scan 命令
用于迭代数据库中的数据库键
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
实际操作
在这里插入图片描述

多少算大key?
阿里开发规范
在这里插入图片描述
string是value,最大512M,但是大于等于10KB就是bigkey。list、hash、set和zset，个数超过5000就是bigkey
string和二级结构
在这里插入图片描述

在这里插入图片描述

BigKey 哪些危害？

  • 内存不均，集群迁移困难；
  • 超时删除，大key删除作梗；
  • 网络流量阻塞

BigKey如何产生？

  • 社交类（粉丝列表）

  • 汇总统计（某个报表，月日年经年累月的积累）

BigKey如何发现？
redis-cli --bigkeys 与 MEMORY USAGE 键
在这里插入图片描述
在这里插入图片描述

Memory Usage 键
计算每个键值的字节数
在这里插入图片描述
在这里插入图片描述
BigKey 如何删除
阿里巴巴开发手册
在这里插入图片描述

普通命令

  • String
    一般用del，如果过于庞大unlink

  • Hash
    使用hscan每次获取少量field-value，再使用hdel删除每个field
    命令
    在这里插入图片描述
    阿里手册
    在这里插入图片描述

  • List
    使用ltrim渐进式逐步删除，直到全部删除完成
    命令
    在这里插入图片描述
    阿里手册
    在这里插入图片描述

  • Set

    使用sscan每次获取部分元素，再使用srem命令删除每个元素
    命令
    在这里插入图片描述阿里手册
    在这里插入图片描述

  • Zset

    使用zscan每次获取部分元素，再使用ZREMRANGEBYRANK命令删除每个元素
    命令
    在这里插入图片描述
    阿里手册
    在这里插入图片描述
    BigKey 生产调优
    redis.conf配置文件LAZY FREEING相关说明,惰性删除？？

  • 阻塞和非阻塞删除命令
    在这里插入图片描述
    非阻塞删除 unlink 阻塞删除 del

  • 优化配置
    在这里插入图片描述
    视频链接
    Redis BigKey

Redis 的大key问题要怎么解决？如果检测大key？
qq_36929638的博客
03-19 647
解决 Redis 的大 Key 问题需要从。
Redis如何解决大Key问题
人心有反复，好在山水有重逢。
02-19 1343
### **1. 什么是大 Key？** **大 Key（Big Key）** 指的是 **单个 Key 的数据量特别大**，通常体现在： - **单个 String 类型的 Key** 存储了超长的内容（如超大 JSON、Base64 图片）。 - **单个 List/Set/Zset/Hash 存储大量元素**，导致： - **查询效率下降**（一次查询数据过多）。 - **删除或过期开销大**（删除一个 Key 可能会卡 Redis）。 - **主从复制或数据持久化时阻塞 Redis**（
Redis7高级之BigKey（二）
m0_55993923的博客
03-26 2241
RedisBigKey问题的解决和案例，并讲解了如何在线上进行BigKey调优，keys * / flushall / flushdb 会造成阻塞。使用zscan每次获取部分元素，再使用ZREMRANGEBYRANK 命令删除每个元素。使用hscan每次获取少量field-value，再使用hdel删除每个field。使用sscan 每次获取部分元素，再使用 srem 命令删除每个元素。使用 ltrim 渐进式逐步删除，直到全部删除。
Redis——大Key问题
娜娜米的博客
06-06 2086
​ 上一篇文章（https://blog.youkuaiyun.com/minghao0508/article/details/123972442）讲了Redis的热点key问题，本篇介绍Redis大Key问题的概念，大Key问题产生的原因、危害以及解决大Key问题的思路； ​
Redis大Key问题的解决方案
m0_64469199的博客
06-13 2600
Redis中某些键（key）所对应的值（value）特别大，或者集合类数据结构（如hash、set、zset、list）中存储的元素数量过多，这就是大Key问题。具体大小标准依据业务场景不同而有所变化，一般认为在普通业务场景下，如果单个String类型的value大于1MB，或者在高并发低延迟场景中大于10KB，就可能被视为大Key。
Redis大key 问题
只有变秃 才能变强
02-21 9952
Redis大key 问题 背景 双十一大促期间, 收到客服反馈通知，说 APP 领券接口缓慢。找到一个case，通过调用链路发现，是操作redis 缓慢，并且还搜到一些redis 异常。 最后定位到原因：是发券场景下拿redis 做了一个缓存券批次的操作，记录用户当天领取的所有券批次 发券场景： key = userId， value = 券批次ID 列表， 而redis 查询发现多了许多大key，体现在 一个用户领取的几千甚至上万张优惠券，导致Redis 查询缓慢，甚至异常。至于为何有的用户会领取这么多优
Redis 大Key问题
sky的博客
04-16 5645
在实际场景或面试中，常会遇到Redis 大Key问题导致性能下降。
Redis高频面试基本问题与知识点整理
热门推荐
张彦峰的博客
04-07 173万+
对Redis一些重点内容进行整理总结用于查缺补漏，应对各大互联网大厂面试方向题库
【Redis】浅析Redis大Key
qq_62095670的博客
10-31 1870
在 Redis 中，大 Key 是指在 Redis 中存储的单个键值对所占的空间过大，对于大 Key 也没有严格的定义区分，但通常满足以下条件的 Key 会被视为大 Key本文介绍了 Redis 中大 Key 的定义及其可能引发的问题，并提供了快速定位大Key的方法以及优化方案。通过合理的优化措施，我们可以有效提升 Redis 的性能，改善用户体验。
Redis 大key和热key问题及处理
lvyuanj的专栏
03-09 2327
redis大key和热key问题及处理
redis的热key、大key
BugMan的博客
12-08 5593
redis的大key、热key的成因，如何进行定位和解决。
Redis-大key解决策略
子悠のziyou
12-07 5478
首先大key不是key很大而是key对应的value值很大 一般而言如果String类型值大于10KB，Hash，Set，Zset，List类型的元素的个数大于5000个都可以称之为大key使用时注意事项最好在从节点上执行该命令或者在Redis实例业务压力的低峰阶段进行扫描查询，因为key很多时会很慢不足之处使用SCAN命令对数据库进行扫描。然后用TYPE命令获取返回的每一个key的类型对于String类型，可以直接使用STRLEN命令获取字符串长度，也就是占用的内存空间字节数对于集合类型来说可以使用MEM
Redis大Key问题全解析
hello.reader
12-24 1879
Redis大Key是指单个Key对应的数据量过大，占用过多的内存或导致操作耗时较长的现象。String类型：单个字符串的长度过大。List类型：包含大量元素的列表。Hash类型：存储大量字段的哈希表。Set或ZSet类型：存储大量成员的集合或有序集合。大Key并不直接导致系统问题，但其潜在影响和风险非常显著，尤其在生产环境中。编写脚本遍历Redis中的Key，并分析每个Key的大小和类型。
如何优化 Redis 大 Key 问题
m0_73467713的博客
08-17 2075
在 Redis 中，大 Key 是指单个键值对的数据量非常大，可能包含大量数据。例如，存储一个非常大的列表、哈希表、集合或有序集合等。这种大 Key 可能会影响 Redis 的性能和可用性，因为 Redis 需要在内存中处理这些数据，并且在操作这些大 Key 时可能会导致网络传输延迟。处理 Redis 大 Key 的挑战需要结合多种策略和工具，包括识别大 Key、优化存储方式、使用分布式功能以及定期监控性能。通过实施这些优化措施，可以显著提高 Redis 的性能和稳定性，确保应用程序的高效运行。
Redis大Key问题的终极解决方案：发现、定位、解决与预防！
赵KK的博客
01-17 1784
通过本文的详细分析和实际案例，我们了解了Redis大Key问题的危害、发现方法、定位问题、解决问题以及技术设计避免Redis大Key问题的方法。Redis大Key问题在高并发场景下可能导致严重的性能问题，甚至导致系统瘫痪。通过使用Redis命令行工具、Python扫描脚本、工具等方法，可以发现Redis中的大Key。通过分析大Key的类型和结构、检查访问频率和操作类型，可以定位问题。通过拆分大Key、使用分页读取、使用Redis的SCAN命令、命令、命令等方法，可以解决大Key问题。
redis快速部署、集成、调优
core815的专栏
08-01 350
redis快速部署、集成、调优
【Redis】安装Redis，通用命令，常用数据结构，单线程模型
最新发布
2301_80224556的博客
08-04 807
客户端-服务器模型与 MySQL 等主流数据库系统类似，Redis 也严格遵循客户端-服务器 (Client-Server, C/S) 架构模型。服务端 (这是 Redis 的核心，一个常驻运行的后台进程。它负责数据存储、管理、执行命令、处理持久化、维护数据结构等核心功能。服务端通常运行在指定的服务器或主机上，监听配置的 TCP 端口（默认是著名的6379端口），等待客户端的连接请求。值得注意的是，Redis 服务端在处理命令时是单线程。
redis的Java客户端(SpringDataRedis)
专注于技术分享的博主
08-03 865
可以看到，在redis中存储我们上述案例插入的数据并不是按照我们预期的结果展示，这是因为：RedisTemplate可以接收任意Object作为值写入Redis，只不过写入前会把Object序列化为字节形式，默认是采用JDK序列化。所以我们可以采用自定义序列化方式改成我们想要的样式。出现这种结果的原因是因为：RedisTemplate存在一个自动反序列机制，那么它就需要存起反序列化的对象才能知道对哪个对象进行反序列化，显然这种结果往往我们也不想要，因为会有很大的内存开销，下面我们再进行一个优化方案。
12.Redis 主从复制
weixin_56408536的博客
08-03 1044
在主从复制首次完成全量同步之后再次需要同步时,从服务器只要发送当前的offset位置(类似于MySQL的 binlog的位置)给主服务器，然后主服务器根据相应的位置将之后的数据(包括写在缓冲区的积压数据)发送给从服务器,再次将其保存到从节点内存即可。Redis在2.8版本之前没有提供增量部分复制的功能，当网络闪断或者slave Redis重启之后会导致主从之间的全量同步，即从2.8版本开始增加了部分复制的功能。主从节点的maxmemory不一致,主节点内存大于从节点内存,主从复制可能丢失数据。
redis查询大key
12-10
Redis 查询大key通常涉及对存储在数据库中键值对的大小进行管理，因为大key可能会占用过多内存并影响性能。如果你需要处理大key，可以考虑以下几个步骤： 1. **定期清理**：使用 Redis 的 `KEYS` 或 `SCAN` 操作，配合合适的过期时间策略 (`EXPIRE` 或 `TTL`)，定期检查和清理过大（比如超过某个阈值，比如1MB）的key。 示例命令： ``` redis-cli KEYS pattern [COUNT num] ``` 2. **惰性淘汰**（LUA脚本或Redis Cluster的配置）：设置 Redis 的 maxmemory 或 maxmemory-policy 参数，启用惰性淘汰机制，当内存不足时才会删除大key。 3. **分批处理**：对于一次性加载的大数据，可以将其切分成小块存储，或者使用管道（pipeline）功能批量操作，减少网络往返次数。 4. **数据结构优化**：尽量避免使用大字符串来存储数据，如果内容适合，可以使用集合、哈希等更适合大key的数据结构。 5. **监控和报警**：通过Redis客户端如`redis-cli`或者第三方工具，定期查看 key 的大小情况，并设置警报，以便及时发现和处理大key。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值