简述分析Reids的BigKey和HotKey问题

阿里面试:如何解决Redis热点Key问题? 在某个Key接收到的访问次数、显著高于其它Key时,我们可以将其称之为HotKey/热key。某Redis实例的每秒总访问量为10000,而其中一个Key的每秒访问量达到了7000(访问次数显著高于其它Key)对一个拥有上千个成员且总大小为1MB的HASH Key每秒发送大量的HGETALL(带宽占用显著高于其它Key)对一个拥有数万个成员的ZSET Key每秒发送大量的ZRANGE(CPU时间占用显著高于其它Key)1 、MySQL等数据库会被频繁访问的热数据如爆款商品的skuId。 阅读详情

1.什么是BigKey和HotKey

1.1.Big Key

Redis big key problem,实际上不是大Key问题,而是Key对应的value过大,因此严格来说是Big Value问题,Redis value is too large (key value is too large)。

到底多大的value会导致big key问题,并没有统一的标准。

例如,对于String类型的value,有时候超过5M属于big key,有时候稳妥起见,超过10K就可以算作Bigey。

Big Key会导致哪些问题呢?

1、由于value值很大,序列化和反序列化时间过长,网络时延也长,从而导致操作Big Key的时候耗时很长,降低了Redis的性能。

2、在集群模式下无法做到负载均衡,导致负载倾斜到某个实例上,单实例的QPS会比较高,内存占用比较多。

3、由于Redis是单线程,如果要对这个大Key进行删除操作,被操作的实例可能会被block住,从而导致无法响应请求。

Big Key是如何产生的呢?

一般是程序设计者对于数据的规模预料不当,或设计考虑遗漏导致的Big Key的产生。

在某些业务场景下,很容易产生Big Key,例如KOL或者流量明星的粉丝列表、投票的统计信息、大批量数据的缓存,等等。

1.2.Hot Key

Hot Key,也叫Hotspot Key,即热点Key。如果某个特定Key突然有大量请求,流量集中到某个实例,甚至导致这台Redis服务器因为达到物理网卡上线而宕机,这个时候其实就是遇到了热点Key 问题。

热点key会导致很多系统问题:

1、流量过度集中,无法发挥集群优势,如果达到该实例处理上限,导致节点宕机,进而冲击数据库,有导致缓存雪崩,让整个系统挂掉的风险。

2、由于Redis是单线程操作,热点Key会影响所在示例其他Key的操作。

2.如何发现BigKey和HotKey

2.1.发现BigKey

1、通过Redis命令查询BigKey。

以下命令可以扫描Redis的整个Key空间不同数据类型中最大的Key。-i 0.1 参数可以在扫描的时候每100次命令执行sleep 0.1 秒。

Redis自带的bigkeys的命令可以很方便的在线扫描大key,对服务的性能影响很小,单缺点是信息较少,只有每个类型最大的Key。

$ redis-cli -p 999 --bigkeys -i 0.1
复制代码

2、通过开源工具查询BigKey。

使用开源工具,优点在于获取的key信息详细、可选参数多、支持定制化需求,后续处理方便,缺点是需要离线操作,获取结果时间较长。

比如,redis-rdb-tools 等等。

$ git clone https://github.com/sripathikrishnan/redis-rdb-tools 
$ cd redis-rdb-tools
$ sudo python setup.py install 
$ rdb -c memory dump-10030.rdb > memory.csv
复制代码

2.2.发现HotKey

1、hotkeys 参数

Redis 在 4.0.3 版本中添加了 hotkeys (github.com/redis/redis…)查找特性,可以直接利用 redis-cli --hotkeys 获取当前 keyspace 的热点 key,实现上是通过 scan + object freq 完成的。

2、monitor 命令

monitor 命令可以实时抓取出 Redis 服务器接收到的命令,通过 redis-cli monitor 抓取数据,同时结合一些现成的分析工具,比如 redis-faina,统计出热 Key。

3.BigKey问题的解决方法

发现和解决BigKey问题,可以参考以下思路:

1、在设计程序之初,预估value的大小,在业务设计中就避免过大的value的出现。

2、通过监控的方式,尽早发现大Key。

3、如果实在无法避免大Key,那么可以将一个Key拆分为多个部分分别存储到不同的Key里。

下面以List类型的value为例,演示一下拆分解决大Key问题的方法。

有一个User Id列表,有1000万数据,如果全部存储到一个Key下面,会非常大,可以通过分页拆分的方式存取数据。

下面是存取数据的代码实现:

/**
 * 将用户数据写入Redis缓存
 *
 * @param userIdList
 */
public void pushBigKey(List<Long> userIdList) {
    // 将数据1000个一页进行拆分
    int pageSize = 1000;
    List<List<Long>> userIdLists = Lists.partition(userIdList, pageSize);

    // 遍历所有分页,每页数据存到1个Key中,通过后缀index进行区分
    Long index = 0L;
    for (List<Long> userIdListPart : userIdLists) {
        String pageDataKey = "user:ids:data:" + (index++);
        // 使用管道pipeline,减少获取连接次数
        redisTemplate.executePipelined((RedisCallback<Long>) connection -> {
            for (Long userId : userIdListPart) {
                connection.lPush(pageDataKey.getBytes(), userId.toString().getBytes());
            }
            return null;
        });
        redisTemplate.expire(pageDataKey, 1, TimeUnit.DAYS);
    }

    // 存完数据,将数据的页数存到一个单独的Key中
    String indexKey = "user:ids:index";
    redisTemplate.opsForValue().set(indexKey, index.toString());
    redisTemplate.expire(indexKey, 1, TimeUnit.DAYS);
}

/**
 * 从Redis缓存读取用户数据
 *
 * @return
 */
public List<Long> popBigKey() {
    String indexKey = "user:ids:index";
    String indexStr = redisTemplate.opsForValue().get(indexKey);
    if (StringUtils.isEmpty(indexStr)) {
        return null;
    }

    List<Long> userIdList = new ArrayList<>();

    Long index = Long.parseLong(indexStr);
    for (Long i = 1L; i <= index; i++) {
        String pageDataKey = "user:ids:data:" + i;
        Long currentPageSize = redisTemplate.opsForList().size(pageDataKey);
        List<Object> dataListFromRedisOnePage = redisTemplate.executePipelined((RedisCallback<Long>) connection -> {
            for (int j = 0; j < currentPageSize; j++) {
                connection.rPop(pageDataKey.getBytes());
            }
            return null;
        });
        for (Object data : dataListFromRedisOnePage) {
            userIdList.add(Long.parseLong(data.toString()));
        }
    }

    return userIdList;
}
复制代码

4.HotKey问题的解决方法

如果出现了HotKey,可以考虑以下解决方案:

1、使用本地缓存。比如在服务器缓存需要请求的热点数据,这样通过服务器集群的负载均衡,可以避免将大流量请求到Redis。

但本地缓存会引入数据一致性问题,同时浪费服务器内存。

2、HotKey将复制多份,随机打散,使用代理请求。

/**
 * 将HotKey数据复制20份存储
 *
 * @param key
 * @param value
 */
public void setHotKey(String key, String value) {
    int copyNum = 20;
    for (int i = 1; i <= copyNum; i++) {
        String indexKey = key + ":" + i;
        redisTemplate.opsForValue().set(indexKey, value);
        redisTemplate.expire(indexKey, 1, TimeUnit.DAYS);
    }
}

/**
 * 随机从一个拷贝中获取一个数据
 *
 * @param key
 * @return
 */
public String getHotKey(String key) {
    int startInclusive = 1;
    int endExclusive = 21;
    String randomKey = key + ":" + RandomUtils.nextInt(startInclusive, endExclusive);
    return redisTemplate.opsForValue().get(randomKey);
}
复制代码

 

ESP32连接OneNet云平台实现多设备联动控制完整示例 通过esp32连接onenet云平台,实现远程设备间的智能联动控制,利用MQTT协议完成数据通信,esp32连接onenet云平台后可高效稳定地上传与下发指令,提升物联网系统响应速度与自动化水平。 阅读详情

相关推荐

信息化建设项目前期方案编制4:如何画好四张图

这里探讨以下具体的总体设计操作层面的工作。总体设计主要是完成四张图,总体架构(逻辑架构)、应用架构、网络拓扑、系统部署图。对于一些单一的系统,往往总体架构和应用架构可以合一。网络拓扑画好了,系统部署图也可以省略。有些项目还会在这之外,有所谓的技术架构图。对应用系统、数据存储等各个部分各自用的主要技术、服务等,给出总体设计图。但通常来说,这四张图在一个中等规模(200~500万,软件...

Leonardo的博客 4639

redis set value too large

redis set value too large

qq 117791303 922

关于【中孚计算机终端保密检查系统】的卸载

卸载中孚计算机终端保密检查系统

码农之路,向死而生 4万+

"Value too large for defined data type"错误提示

使用vmware,且在共享文件夹下make工程时,会报这个错误。 解决办法是: 修改/etc/vmware-tools/services.sh 找到vmware_mount_vmhgfs定义,mount时新增-o nounix,noserverino选项。 修改为: # Mount all hgfs filesystems vmware_mount_vmhgfs() { if [ ...

yuhengyue的博客 1528

PYNQ-Z2 开发板从镜像烧录到 Jupyter 交互全流程指南

本文详细介绍了PYNQ-Z2开发板从镜像烧录到Jupyter交互的全流程指南,包括硬件解析、镜像烧录技巧、设备启动与网络配置、Jupyter Notebook深度使用以及实战案例分享。通过具体步骤和实用技巧,帮助开发者快速上手PYNQ-Z2开发板,实现高效的FPGA开发和智能家居控制应用。

weixin_28736355的博客 441

nvidia-container-toolkit 国内镜像源安装

nvidia-container-toolkit 国内镜像源安装

湫然的博客 1万+

一文教你彻底打败Redis Bigkey和Hotkey问题

Redis Bigkey和Hotkey是Redis生产中两个比较常见的问题,本文从它们的概念、危害、发现、解决的角度,来分析一下这两个问题。

weixin_45563088的博客 1324

使用阿里天池平台训练YOLO目标检测模型

YOLO算法是一种单阶段目标检测算法,由Joseph Redmon等人于2015年提出。与传统的两阶段检测算法相比,YOLO将目标检测问题转化为回归问题,直接预测边界框的位置和类别概率,大大提高了检测速度。YOLOv1: 首次提出YOLO的核心思想,将图像分割成网格,每个网格预测边界框和类别概率。YOLOv2: 引入了批量归一化、锚框等改进,提高了检测精度。YOLOv3: 采用多尺度预测,增强了对小目标的检测能力。

步子哥的博客 1092

【Redis】Redis 内存管理,Redis事务,bigkey和hotkey

Redis 中的事务是一组命令的集合,是 Redis 的最小执行单位。它可以保证一次执行多个命令,每个事务是一个单独的隔离操作,事务中的所有命令都会序列化、按顺序地执行。服务端在执行事务的过程中,不会被其他客户端发送来的命令请求打断。它的原理是先将属于一个事务的命令发送给 Redis,然后依次执行这些命令。Redis 事务的注意点?需要注意的点有:Redis 事务是不支持回滚的,不像 MySQL 的事务一样,要么都执行要么都不执行;

2301_79456272的博客 1547

069、自动曝光(AE)测光策略:全局/中心/点测光与曝光时间增益分配

本文深入探讨了自动曝光(AE)测光策略的技术细节与实际应用。作者通过多个真实案例(手机前置摄像头、车载ADAS、安防监控等)分析了全局测光、中心测光和点测光的优缺点,指出不同场景应采用不同策略。重点剖析了曝光时间与增益分配的"跷跷板效应",提出要根据传感器特性选择最优分配方案。文章强调测光策略应动态调整,并给出5条实用建议:结合场景切换测光模式、关注传感器增益拐点、点测光需防抖处理、全局测光不宜迷信、调试要观察亮度直方图。最后指出AE调试需要结合具体硬件特性进行实测优化,没有通用解决方案。

zzfmlxs的博客 103

【知识图谱】neo4j桌面版安装与配置-解决无法启功问题(2025年最新最全教程)

(经历过各种版本NEO4J,相比社区版而言,个人感觉桌面版更适合新手,安装调试更少更方便。如果是社区版改桌面版的,记得删除系统变量里NEO4J_HOME这个变量,否则会报错。

知识靠谱的博客 2万+

Redis核心技术-性能-实战(查找bigKey、hotkey)

bigkeys 是以 scan 延迟计算的方式扫描所有 key,因此执行过程中不会阻塞 redis,但实例存在大量的 keys 时,命令执行的时间会很长,这种情况建议在 slave 上扫描。–bigkeys 是 redis 自带的命令,对整个 Key 进行扫描,统计 string,list,set,zset,hash 这几个常见数据类型中每种类型里的最大的 key。等问题,这个时候就需要排查 Redis 的大key去优化业务了,下面提供一些排查方案总结。多大的 key 算大呢?如何查询key大小?

ALONG的博客 2974

万字长文:YOLOv5+RK3588 NPU多线程加速全攻略——从理论到部署的终极优化

RK3588 NPU多线程加速优化教程摘要 本教程深入讲解了如何利用线程池技术优化RK3588 NPU上的YOLO目标检测模型推理性能。RK3588内置3个NPU核心,理论算力达6TOPS,为多线程优化提供了硬件基础。教程详细解析了线程池的核心组件(任务队列、工作线程、同步机制)和实现架构,包括类设计、初始化流程、工作线程逻辑(任务获取、NPU推理、结果存储三个阶段)以及任务提交/获取机制。通过预分配模型实例、线程绑定、流量控制等优化手段,实现了从单线程28FPS到多线程120FPS的显著性能提升,为边缘A

LXY_LOVE36的博客 1103

Reids的BigKey和HotKey

Redis big key problem,实际上不是大Key问题,而是Key对应的value过大,因此严格来说是Big Value问题,Redis value is too large (key value is too large)。到底多大的value会导致big key问题,并没有统一的标准。例如,对于String类型的value,有时候超过5M属于big key,有时候稳妥起见,超过10K就可以算作Bigey。Big Key会导致哪些问题呢?

mxt51220的博客 619

RU DOS版、EFI版32bit/64bit BIOS常用工具

DOS版、EFI版的RU工具,可用来查看IO、MEM、PCI、SMBIOS等资源。亲测在EFI SHELL下可用。

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

Nosql之Redis详解

概述 定义:Redis是一个开源的,使用ANSI C语言编写、遵守BSD协议、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库,并提供多种语言的API。 redis是一个key-value存储系统。和Memcached类似,只是它支持存储的value类型相对更多,包括string(字符串)、list(链表)、set(集合)、zset(sorted set --有序集合)和hash......

企业实战系列集 ●●● https://ximenjianxue.blog.youkuaiyun.com 1610

Outlook Express 6 (OE6) for Win7/Win8/Win10

英文版 Outlook Express6.0, 兼容Win7/Win10/WinXP,解压就可用。

redis性能分析工具redis-faina

redis性能分析工具redis-fainaredis-faina是一个通过解析redis的MONITOR命令,从而对redis实例进行性能诊断的工具。 该工具使用虽然简单,但是功能还是很不错,对于定位线上redis性能问题,确实是一把利器。

手边笔记 6665

温度PID控制PLC程序

温度PID稳定控制程序,适用于欧姆龙PLC,对其他PLC也具有很大参考价值

redis热点key监控:redis-monitor + faina

注:faina脚本统计命令的耗时时间是根据命令的上一条时间戳与当前的命令的时间戳相减来获得的,这样的话就会有误差,比如上面的截图,是在测试环境下进行监控及分析的,redis是在一个低负载的情况,命令与命令之间相隔有时间差,比如客户端每1s发送一个ping命令,但是ping命令执行只需0.1ms,这样统计出来的时间与真实的时间就会有误差。这就是为什么上面的最耗时的命令看到的都是ping命令。如上截图,关闭后会生成一个monitor0324.log的文件,该文件中即为监控期间监控到的所有命令。

chadchenfeng的博客 983

排查Redis大key的方法

它是一个非阻塞操作,支持游标(cursor)的方式来逐步遍历所有key。使用SCAN命令可以避免阻塞,减少对Redis性能的影响。这样组合的方式操作比较复杂,需要对命令使用非常熟悉。在生产环境需要更快,更高效的发现问题还是建议使用成熟的分析工具,毕竟也都是用这些命令组合起来的。对于集合类型来说,这个方法只统计集合元素的多少,而不是实际占用的内存量。这个方法只能返回每种类型中最大的那个bigkey,无法得到大小排到前N位的bigkey。实际上bigkey的底层也使用SCAN命令执行。

Jc0803kevin的专栏 1995

redis使用redis-faina分析monitor数据

用法1,通过管道获取。用法2 直接分析文件。

qq_35640866的博客 282

Redis性能分析工具redis-faina

Author:skatexg Time:2020/11/20 redis-faina 是由Instagram 开发并开源的一个Redis查询分析小工具,redis-faina 是通过Redis的MONITOR命令来实现的,通过对在Redis上执行的query进行监控,统计出一段时间的query特性 1.安装 #gitclonehttps://github.com/facebookarchive/redis-faina.git 查看目录结构如下: # ll total 20 -...

冰刀(skate) 1424

PCL2-CE社区版:重新定义你的Minecraft启动体验

还在使用功能单一的传统启动器?PCL2-CE社区增强版将彻底改变你对Minecraft启动器的认知。这款开源项目不仅提供完整的功能套件,更让你提前体验官方版本尚未发布的创新特性,打造真正属于你的个性化游戏入口。 ## 🎯 极速配置:两分钟完成环境搭建 ### 获取最新版本 通过简单命令即可获取完整源码: ```bash git clone https://gitcode.com/gh_mir

gitblog_00887的博客 1008

redis-faina:一个Redis的query分析小工具

redis-faina:一个Redis的query分析小工具 redis-faina 是由Instagram 开发并开源的一个Redis 查询分析小工具。Instagram团队曾经使用PGFouine 来作为其PostgreSQL的查询分析工具,他们觉得Redis也需要一个类似的工具来进行query分析工作,于是开发了redis-faina。 redis-faina 是

专注于性能调优、安全、自动化 778

Redis性能调优神器:Redis-Faina全解析与实战指南

你是否还在为Redis性能瓶颈发愁?面对成千上万的命令请求,如何快速定位慢查询、高频键和资源消耗大户?Redis-Faina(Redis查询分析器)正是为解决这些问题而生。作为一款轻量级开源工具,它通过解析Redis MONITOR命令输出,提供关键性能指标和深度命令分析,帮助开发者在复杂生产环境中精准优化Redis性能。 **读完本文你将掌握:** - Redis-Faina的核心工作原理与安...

gitblog_00892的博客 1009

【程序猿同事的分享】 redis性能问题诊断利器

redis-faina是一款非常好用的redis性能诊断工具,如果你的redis server遇到性能问题,比如cpu非常高,那么可以使用redis-faina来分析问题原因。 redis-faina 是由Instagram 开发并开源的一个Redis 查询分析小工具,GitHub地址: https://github.com/facebookarchive/redis-faina。 它是通过Redis的MONITOR命令来实现的,通过对在Redis上执行的query进行监控,统计出一段时间的query特性,

是程序媛不是程序猿 334

炸了~Redis bigkey导致生产事故-bigkey问题全面分析

文章首发于公众号:BiggerBoy 原文链接 一个Redis生产事故的复盘,整理这篇文章分享给大家。本期文章分析Redis中的bigkey相关问题,主要从以下几个点入手: 文章目录什么是bigkey?bigkey的危害bigkey的产生如何发现bigkey实际生产的操作方式如何优化bigkey删除时间测试如何提升删除的效率实战代码 什么是bigkey? 在Redis中数据都是key-value的形式存储的。bigkey是指key对应的value所占的内存空间比较大。 例如一个String类型的valu.

ibigboy 2084
上一篇: 你的【架构设计】应用该如何分层呢?
下一篇: 简单聊聊什么是数据库系统!
Java_LingFeng
博客等级 码龄4年 505粉丝 259原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值