Redis 大Key 分析统计

最新推荐文章于 2025-07-03 13:00:41 发布
原创 最新推荐文章于 2025-07-03 13:00:41 发布 · 747 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#Redis 

本文介绍了使用多种工具和技术检查Redis中大Key的方法，包括阿里云的check_big_key工具、godis-cli-bigkey、redisTools等，以及Redis4.0中新增的memoryusage命令和lazyfree机制，帮助读者理解如何有效地管理和优化Redis内存。
  • bigkeys

 ./redis-cli -h 127.0.0.1 -p 6000 -n 0 --bigkeys
#https://redis.io/topics/rediscli#scanning-for-big-keys

  • 阿里云 check_big_key

#https://yq.aliyun.com/articles/117042?spm=5176.10695662.1996646101.searchclickresult.2e582a5etzFHGk

#https://help.aliyun.com/knowledge_detail/56949.html

#https://github.com/erpeng/godis-cli-bigkey

  • redisTools

#https://github.com/xiepaup/dbatools/tree/master/redisTools

 

  • Redis 4.0

memory usage命令和lazyfree机制

Redis中BigKey的分析与优化
码农小郑有话说的博客
01-24 1976
1、BigKey的定义Redis中的BigKey通常指的是那些包含大量元素的复合数据类型，如一个列表包含数百万个元素，或一个字符串的大小超过512MB。这些BigKey会在执行操作时消耗大量的CPU和内存资源，影响Redis的响应时间。2、BigKey的识别方法# 连接到Redis服务器= 0:cursor, keys = redis_conn.scan(cursor=cursor, count=1000) # 分批迭代keys# 打印出所有大于1MB的key。
Redis大key有什么危害？如何排查和处理？
无休居士的博客
09-19 1760
简单来说，如果一个 key 对应的 value 所占用的内存比较大，那这个 key 就可以看作是 bigkey。具体多大才算大呢？人认为：只有影响的查询效率的Key才叫BigKey！
浅析Redis大Key
京东科技开发者
11-01 193
一、背景 在京东到家购物车系统中，用户基于门店能够对商品进行加车操作。用户与门店商品使用Redis的Hash类型存储，如下代码块所示。不知细心的你有没有发现，如果单门店加车商品过多，或者门店过多时，此Key就会越来越大，从而影响线上业务。userPin:{ storeId:{门店下加车的所有商品基本信息}, storeId:{门店下加车的所有商品基本信息}, ....
【Redis】浅析Redis大Key
qq_62095670的博客
10-31 1971
在 Redis 中，大 Key 是指在 Redis 中存储的单个键值对所占的空间过大，对于大 Key 也没有严格的定义区分，但通常满足以下条件的 Key 会被视为大 Key本文介绍了 Redis 中大 Key 的定义及其可能引发的问题，并提供了快速定位大Key的方法以及优化方案。通过合理的优化措施，我们可以有效提升 Redis 的性能，改善用户体验。
redis的bigkey浅显分析
weixin_37642251的博客
09-12 3196
如何分析redis的bigkey？ 现在互联网通用的缓存组件，基本上都依赖于redis，在使用redis的时候，运维团队往往会碰到一些因为bigkey导致的慢查和业务响应缓慢的问题，针对redis的bigkey如何去分析？ 第一种方案： 1.通过shell脚本调用–bigkeys把实例的bigkeys分析出来 2.通过shell脚本调用–scan把实例的key通过scan拿出来在进行ttl key...
Redis大key问题解析
ybb_ymm的专栏
12-27 909
用unlink命令代替del命令来删除，这样Redis会将这个key放入到一个异步现成中进行删除，这样不会阻塞主线的运行。使用hscan命令，每次获取150个字段，在用hdel命令，每次删除一个字段。当一个大key过大， 自身会造成占用带宽较多，会连锁反应的引起这台服务器的其他服务的灾难。当我们删除一个大key的时候，会造成时间过长，会引发主从切换或者同步中断。当一个大key过大，会引起请求超时，这时，后面的任务便无法正常运行了。当读取大key的时候，会占用较多的内存，从而会导致内存溢出。
Redis大Key问题全解析：从原理到实战的深度解决方案
weixin_43674738的博客
03-10 846
设计规范选择与业务匹配的数据结构预估数据量级（如用户增长模型）工具链建设上线前使用扫描生产环境部署RedisInsight实时监控应急方案制定BigKey处理SOP（如凌晨低峰期删除）定期演练大Key迁移预案架构演进超过10GB的Key考虑迁移至TiKV等分布式存储结合Pika实现冷热数据分层。
Redis中统计各种数据大小的方法
09-10
本文将详细介绍如何在 Redis 中统计各种数据大小，并通过 PHP 实现对内存占用较大的键进行统计。 首先，Redis 提供了一些内置命令，可以帮助我们获取关于键的信息。`DEBUG OBJECT <key>` 命令用于查看特定键的元...
利用rdbtools分析redis大key
NgZegHong的博客
07-16 534
#pip安装分析工具： #pip install rdbtools python-lzf #或者源码安装 git clone https://github.com/sripathikrishnan/redis-rdb-tools cd redis-rdb-tools python setup.py install apt install python-lzf #分析rdb工具,21G,5200W个key的rdb文件最终生成4G的csv文件 nohup /usr/rdbtools/redis-rdb-tool
Redis中的bigkey的介绍及影响
weixin_50055999的博客
06-23 1641
Redis中的大key问题（BigKey）是指某个key对应的value占用内存过大或元素数量过多，导致性能下降、内存碎片化、网络阻塞等一系列问题。大key通常定义为字符串类型value超过1MB或集合类型元素超过1万个。主要影响包括Redis单线程阻塞、内存不均衡、持久化风险及集群运维困难。解决方案包括合理设计数据结构、拆分大key、设置过期时间、启用内存淘汰策略、数据压缩及渐进式删除等。通过定期监控和优化，可有效缓解大key问题，保障Redis高性能运行。
Redis大Key问题全解析
hello.reader
12-24 2074
Redis大Key是指单个Key对应的数据量过大，占用过多的内存或导致操作耗时较长的现象。String类型：单个字符串的长度过大。List类型：包含大量元素的列表。Hash类型：存储大量字段的哈希表。Set或ZSet类型：存储大量成员的集合或有序集合。大Key并不直接导致系统问题，但其潜在影响和风险非常显著，尤其在生产环境中。编写脚本遍历Redis中的Key，并分析每个Key的大小和类型。
redis大key分析及删除
weixin_41862856的博客
08-27 323
摘自：https://blog.51cto.com/lee90/2357687 摘自：https://agentd.cn/archives/hscan-delete-redis-key 1、编译方法： 工具地址：https://github.com/weiyanwei412/rdb_bigkeys go环境编译系统centos7 yum install go -y cd ~ git clone https://github.com/weiyanwei412/rdb_bigkeys.git...
Redis 中的大 Key 问题深度解析
m0_57836225的博客
09-24 563
在 Redis 中，大 Key 不能单纯以 value 值大小或者集合元素数量多来判断。很多人认为 string 大于五兆、hash list size 大于 1 万的 key 就是大 key，但这种说法并不准确。实际上，大 Key 的判断标准是看其是否影响业务。
Redis之bigkey问题解读
一个菜鸡的博客
09-01 1622
目录什么是bigkey？bigkey引发的问题如何查找bigkeyredis-cli --bigkeysMEMORY USAGEbigKey如何删除渐进式删除unlinkbigKey生产调优bigkey简单来说就是存储本身的key值空间太大，或者hash，list，set等存储中value值过多。具体来衡量的话大key是：可以通过redis客户端提供的命令 redis-cli --bigkeys来查看 好处：给出每种数据结构Top 1 bigkey，同时给出每种数据类型的键值个数+平均大小 不足：想查询
分析redis中大key的几种办法
papaya的博客
10-15 1956
简言 1. 游戏已经上线几个月了，redis使用超过2G，今天有空就想着分析下redis中是否有大key，是否影响性能，结果查来查去，愣是没找到一个好用的办法，因为我们的redis是买腾讯云的，操蛋的腾讯云对redis做了诸多限制，fuck 2. 先说下几种常用的办法吧 办法1： DEBUG OBJECT [要查的key名字] 优点：查询指定的单个key，很方便 缺点：只能查指定的key，不能做整体分析，而且腾讯云的redis不让使用 示例（查询key：hall:player:use...
数字中国·星火文集 | Redis大Key分析和解决最佳实践
baidu_31160581的博客
06-09 334
我们先假定有如下场景：某税务局一线运维收到客户反馈通知，说系统查询某机构对申报信息极为缓慢。于是开发人员找到一个出问题的机构A，通过搜索日志系统找到系统操作Redis时间比较久，并且从日志系统搜到一些Redis 含询超时的异常。最后我们定位到的原因如下：在申报接口的时候系统通过Redis做了一个级存，记录机构的申报信息，Redis数据结构：key=机构、IDvalue=申报列表，而Redis查询发现多了许多大key，体现在一个机构ID一天有上万甚至几十万的申报信息。我们通常将此类问题...
炸了~Redis bigkey导致生产事故-bigkey问题全面分析
ibigboy
04-16 2033
文章首发于公众号：BiggerBoy 原文链接 一个Redis生产事故的复盘，整理这篇文章分享给大家。本期文章分析Redis中的bigkey相关问题，主要从以下几个点入手： 文章目录什么是bigkey？bigkey的危害bigkey的产生如何发现bigkey实际生产的操作方式如何优化bigkey删除时间测试如何提升删除的效率实战代码 什么是bigkey？ 在Redis中数据都是key-value的形式存储的。bigkey是指key对应的value所占的内存空间比较大。 例如一个String类型的valu.
Redis大Key问题全解析：从检测到解决，一篇搞定！
weixin_42148384的博客
06-27 1656
在 Redis 使用过程中，​大 Key（Large Key）​​ 是一个常见且关键的性能隐患，可能导致网络延迟、内存不均、QPS 下降甚至服务阻塞。本文将从定义、影响、检测、解决策略到预防措施进行全面解析，帮助开发者系统掌握大 Key 的处理方法。
redis：Redis Big Key问题深度解析与解决方案
最新发布
weixin_43290370的博客
07-03 1387
预防为主：建立完善的监控和预警机制拆分优先：采用垂直/水平拆分方案渐进处理：使用SCAN系列命令逐步操作智能治理：结合自动压缩和本地缓存建立Key规范（如：String≤10KB，Hash≤1000元素）实现实时监控大盘（Grafana+Prometheus）开发自动处理工具（自动拆分/压缩/迁移）定期执行Big Key扫描（redis-cli --bigkeys）关键操作添加熔断保护（Hystrix/Sentinel）
统计redis中key类型分布
09-15
在Redis中，统计Key类型的分布通常是为了了解存储的数据结构特性。你可以通过键相关的命令以及一些脚本来获取这种信息。以下是几种常见的方法： 1. **使用`KEYS`命令**：这是一个安全性较低的命令，直接列出所有...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值