Redis 很屌,不懂使用规范就糟蹋了

带宽和内存降低88%:GZIP在解决Redis大Key方面的应用 本文介绍GZIP压缩算法在优化Redis使用大JSON字段中的应用,通过简单压缩可以节省88%的内存空间和带宽资源 阅读详情

这可能是最中肯的 Redis 使用规范了

码哥,昨天我被公司 Leader 批评了。

我在单身红娘婚恋类型互联网公司工作,在双十一推出下单就送女朋友的活动。

谁曾想,凌晨 12 点之后,用户量暴增,出现了一个技术故障,用户无法下单,当时老大火冒三丈!

经过查找发现 Redis 报 Could not get a resource from the pool 。

获取不到连接资源,并且集群中的单台 Redis 连接量很高。

于是各种更改最大连接数、连接等待数,虽然报错信息频率有所缓解,但还是 持续报错 。

后来经过线下测试,发现存放 Redis 中的 字符数据很大,平均 1s 返回数据 。

❝

码哥,可以分享下使用 Redis 的规范么?我想做一个唯快不破的真男人!

Redis 使用规范围绕如下几个纬度展开:

  • 键值对使用规范;
  • 命令使用规范;
  • 数据保存规范;
  • 运维规范。

键值对使用规范

有两点需要注意:

  1. 好的 key 命名,才能提供可读性强、可维护性高的 key,便于定位问题和寻找数据。
  2. value 要避免出现 bigkey 、选择高效的序列化和压缩、使用对象共享池、选择高效恰当的数据类型(可参考《Redis 实战篇:巧用数据类型实现亿级数据统计》)。

key 命名规范

规范的 key 命名,在遇到问题的时候能够方便定位。Redis 属于 没有 Scheme 的 NoSQL 数据库。

所以要靠规范来建立其 Scheme 语意,就好比根据不同的场景我们建立不同的数据库。

敲黑板

把「业务模块名」作为前缀(好比数据库 Scheme ),通过「冒号」分隔,再加上「具体业务名」。

这样我们就可以通过 key 前缀来区分不同的业务数据,清晰明了。

总结起来就是:「业务名:表名:id」

比如我们要统计公众号属于技术类型的博主「码哥字节」的粉丝数。

set 公众号:技术类:码哥字节 100000

❝

码哥,key 太长的话有什么问题么?

key 是字符串,底层的数据结构是 SDS ,SDS 结构中会包含字符串长度、分配空间大小等元数据信息。

字符串长度增加,SDS 的元数据也会占用更多的内存空间。

所以当字符串太长的时候,我们可以采用适当缩写的形式。

不要使用 bigkey

❝

码哥,我就中招了,导致报错获取不到连接。

因为 Redis 是单线程执行读写指令,如果出现bigkey的读写操作就会阻塞线程,降低 Redis 的处理效率。

bigkey 包含两种情况:

  • value value 2MB String
  • 键值对的 value 是集合类型,元素很多,比如保存了 5 万个元素的 List 集合。

虽然 Redis 官方说明了 key 和 string 类型 value 限制均为 512MB 。

防止网卡流量、慢查询,string类型控制在10KB以内,hash、list、set、zset元素个数不要超过 5000。

❝

码哥,如果业务数据就是这么大咋办?比如保存的是《金瓶梅》这个大作。

我们还可以通过 gzip 数据压缩来减小数据大小:

/**
 * 使用gzip压缩字符串
 */
public static String compress(String str) {
    if (str == null || str.length() == 0) {
        return str;
    }

    try (ByteArrayOutputStream out = new ByteArrayOutputStream();
    GZIPOutputStream gzip = new GZIPOutputStream(out)) {
        gzip.write(str.getBytes());
    } catch (IOException e) {
        e.printStackTrace();
    }
    return new sun.misc.BASE64Encoder().encode(out.toByteArray());
}

/**
 * 使用gzip解压缩
 */
public static String uncompress(String compressedStr) {
    if (compressedStr == null || compressedStr.length() == 0) {
        return compressedStr;
    }
    byte[] compressed = new sun.misc.BASE64Decoder().decodeBuffer(compressedStr);;
    String decompressed = null;
    try (ByteArrayOutputStream out = new ByteArrayOutputStream();
    ByteArrayInputStream in = new ByteArrayInputStream(compressed);
    GZIPInputStream ginzip = new GZIPInputStream(in);) {
        byte[] buffer = new byte[1024];
        int offset = -1;
        while ((offset = ginzip.read(buffer)) != -1) {
            out.write(buffer, 0, offset);
        }
        decompressed = out.toString();
    } catch (IOException e) {
        e.printStackTrace();
    }
    return decompressed;
}

集合类型

如果集合类型的元素的确很多,我们可以将一个大集合拆分成多个小集合来保存。

使用高效序列化和压缩方法

为了节省内存,我们可以使用高效的序列化方法和压缩方法去减少 value 的大小。

protostuff 和 kryo 这两种序列化方法,就要比 Java 内置的序列化方法效率更高。

上述的两种序列化方式虽然省内存,但是序列化后都是二进制数据,可读性太差。

通常我们会序列化成 JSON 或者 XML ,为了避免数据占用空间大,我们可以使用压缩工具(snappy、 gzip)将数据压缩再存到 Redis 中。

使用整数对象共享池

Redis 内部维护了 0 到 9999 这 1 万个整数对象,并把这些整数作为一个共享池使用。

即使大量键值对保存了 0 到 9999 范围内的整数,在 Redis 实例中,其实只保存了一份整数对象,可以节省内存空间。

需要注意的是,有两种情况是不生效的:

  1. Redis 中设置了 maxmemory ,而且启用了 LRU 策略( allkeys-lru 或 volatile-lru 策略 ),那么,整数对象共享池就无法使用了。❝这是因为 LRU 需要统计每个键值对的使用时间,如果不同的键值对都复用一个整数对象就无法统计了。
  2. 如果集合类型数据采用 ziplist 编码,而集合元素是整数,这个时候,也不能使用共享池。❝因为 ziplist 使用了紧凑型内存结构,判断整数对象的共享情况效率低。

命令使用规范

有的命令的执行会造成很大的性能问题,我们需要格外注意。

生产禁用的指令

Redis 是单线程处理请求操作,如果我们执行一些涉及大量操作、耗时长的命令,就会严重阻塞主线程,导致其它请求无法得到正常处理。

  • KEYS:该命令需要对 Redis 的全局哈希表进行全表扫描,严重阻塞 Redis 主线程;❝应该使用 SCAN 来代替,分批返回符合条件的键值对,避免主线程阻塞。
  • FLUSHALL:删除 Redis 实例上的所有数据,如果数据量很大,会严重阻塞 Redis 主线程;
  • FLUSHDB,删除当前数据库中的数据,如果数据量很大,同样会阻塞 Redis 主线程。❝加上 ASYNC 选项,让 FLUSHALL,FLUSHDB 异步执行。

我们也可以直接禁用,用 rename-command 命令在配置文件中对这些命令进行重命名,让客户端无法使用这些命令。

慎用 MONITOR 命令

MONITOR 命令会把监控到的内容持续写入输出缓冲区。

如果线上命令的操作很多,输出缓冲区很快就会溢出了,这就会对 Redis 性能造成影响,甚至引起服务崩溃。

所以,除非十分需要监测某些命令的执行(例如,Redis 性能突然变慢,我们想查看下客户端执行了哪些命令)我们才使用。

慎用全量操作命令

比如获取集合中的所有元素(HASH 类型的 hgetall、List 类型的 lrange、Set 类型的 smembers、zrange 等命令)。

这些操作会对整个底层数据结构进行全量扫描 ,导致阻塞 Redis 主线程。

❝

码哥,如果业务场景就是需要获取全量数据咋办?

有两个方式可以解决:

  1. 使用 SSCAN、HSCAN 等命令分批返回集合数据;
  2. 把大集合拆成小集合,比如按照时间、区域等划分。

数据保存规范

冷热数据分离

虽然 Redis 支持使用 RDB 快照和 AOF 日志持久化保存数据,但是,这两个机制都是用来提供数据可靠性保证的,并不是用来扩充数据容量的。

不要什么数据都存在 Redis,应该作为缓存保存 热数据 ,这样既可以充分利用 Redis 的高性能特性,还可以把宝贵的内存资源用在服务热数据上。

业务数据隔离

不要将不相关的数据业务都放到一个 Redis 中。一方面避免业务相互影响,另一方面避免单实例膨胀,并能在故障时降低影响面,快速恢复。

设置过期时间

在数据保存时,我建议你根据业务使用数据的时长,设置数据的过期时间。

写入 Redis 的数据会一直占用内存,如果数据持续增多,就可能达到机器的内存上限,造成内存溢出,导致服务崩溃。

控制单实例的内存容量

建议设置在 2~6 GB 。这样一来,无论是 RDB 快照,还是主从集群进行数据同步,都能很快完成,不会阻塞正常请求的处理。

防止缓存雪崩

避免集中过期 key 导致缓存雪崩。

码哥,什么是缓存雪崩?

当某一个时刻出现大规模的缓存失效的情况,那么就会导致大量的请求直接打在数据库上面,导致数据库压力巨大,如果在高并发的情况下,可能瞬间就会导致数据库宕机。

运维规范

  1. 使用 Cluster 集群或者哨兵集群,做到高可用;
  2. 实例设置最大连接数,防止过多客户端连接导致实例负载过高,影响性能。
  3. 不开启 AOF 或开启 AOF 配置为每秒刷盘,避免磁盘 IO 拖慢 Redis 性能。
  4. 设置合理的 repl-backlog,降低主从全量同步的概率
  5. 设置合理的 slave client-output-buffer-limit,避免主从复制中断情况发生。
  6. 根据实际场景设置合适的内存淘汰策略。
  7. 使用连接池操作 Redis。

 

Qwen2.5-VL模型微调实战:从零到部署的完整流程(附避坑指南) 本文详细介绍了Qwen2.5-VL视觉语言模型从零开始的完整微调与部署流程。内容涵盖使用LLaMA-Factory进行LoRA微调的关键参数配置与避坑指南,以及如何将训练好的模型权重合并,并最终利用vLLM高性能推理引擎进行部署,为开发者提供了一套可落地的实战方案。 阅读详情

相关推荐

MatterPort3D 数据集下载

【代码】MatterPort3D 数据集下载。

qq_44106838的博客 6786

RedisJSON 内存占用剖析与调优

本文系统解读 RedisJSON 在内存中对 JSON 值的二进制表示与资源开销,包括:每个 JSON 值最低 8 字节的指针包装;标量、空容器与小整数的静态存储;字符串按字节额外消耗;数组容量按 2 倍几何增长的内存模型;以及模块内置的全局字符串重用机制。最后通过实测文件示例展示 RedisJSON 与 MessagePack 存储体积对比,为开发者在大规模 JSON 存储与访问场景下提供调优指导。

hello.reader 776

基于单片机控制双向可控硅灯光强度设计

*单片机设计介绍,基于单片机控制双向可控硅灯光强度设计。

QQ2193276455的博客 2458

Sprintboot redis 采用gzip和Snappy compress压缩数据

1 前言 怎么使用和结合Sprintboot + redis ,可以参照我前面的文章:https://blog.youkuaiyun.com/zzhongcy/article/details/102584028 这里主要讲述当生产环境中,单个redis数据很大时,我们可能就要考虑压缩数据后再存入redis了。 压缩数据优缺点: 优点1:压缩会减少redis存储数据量,增加redis的吞吐量 优点2:压缩会较少网络带宽 缺点就是会增加CPU消耗 2 Sprintboot redis配置 有两种配置方式,如下

zzhongcy的专栏 5236

状态机与RTOS的融合实践:如何避免‘状态爆炸’并提升系统响应

本文探讨了状态机与RTOS的融合实践,重点介绍了如何通过层次化状态机、表驱动设计等策略避免状态爆炸问题,并优化任务调度与事件处理机制,从而显著提升嵌入式系统的响应速度和可靠性。

net55的博客 109

在不同版本Python中安装PyQT5及PyQT5-Tools

在不同版本Python中安装PyQT5及PyQT5-Tools

zoomgu680的博客 2万+

压缩Redis里的字符串大对象

背景 Redis缓存的字符串过大时会有问题。不超过10KB最好,最大不能超过1MB。 有几个热点配置缓存,5分钟命中一次,大小在5KB到6MB不等,因此需要压缩。 第一种,使用gzip /** * 使用gzip压缩字符串 */ public static String compress(String str) { if (str == null || str.length() == 0) { return str; } ByteArrayOutputStrea

紫眸的博客 2645

SuccessFactors入门篇

SuccessFactors入门篇—— Employee Central(一)最近通过一个月左右的学习,拿到了SF EC(SuccessFactors Employee Central )模块SAP认证,所以打算把自己学习SF的整个过程以及相关资料和大家分享一下,相互切磋,共同进步。Employee Central简单了解Employee Central简单了解新的改变功能快捷键合理的创建标题,有...

qq_42288853的博客 1万+

【一图流思维导图】Redis 使用规范 (键值对使用规范/命令使用规范/数据保存规范/运维规范)

Redis 使用规范 (键值对使用规范/命令使用规范/数据保存规范/运维规范)

alwarse 1042

乐企增值税及附加税费(一般纳税人适用)申报表填报能力说明文档V3.009

申报表填报,是指企业在自有业务系统中将算税结果数据按预填规则要求加工汇总后,进行申报表填报的过程。申报表填报前对纳税申报所需的前提条件进行校验。校验通过后,应用前序算税结果数据及预填规则进行纳税申报表预填,生成申报表数据。申报表数据通过申报业务规则校验后,经纳税人确认即完成申报表填报业务。

记录点滴 347

Xilinx差分原语-IBUFGDS与OBUFGDS FPGA

它将差分信号转换为单端信号,并将其输入到FPGA的逻辑片上。它将单端信号转换为差分信号,并将其输出到FPGA的引脚。在FPGA设计中,差分信号是一种常见的信号传输方式,用于提高抗噪性和抑制共模噪声。Xilinx是一家知名的FPGA供应商,提供了许多差分原语,其中包括IBUFGDS和OBUFGDS。通过使用Xilinx的差分原语,如IBUFGDS和OBUFGDS,可以实现差分信号的输入和输出。这些差分原语提供了方便且可靠的接口,使得在FPGA设计中处理差分信号变得更加简单和高效。是差分输入信号的端口,

git_database727的博客 2096

全网首次开源,GitHub最新霸榜的102W 字Redis 高手心法笔记

我们需要一个系统观,清晰完整的去学习技术,同时也不能埋头苦干,过于死磕某个细节。今天跟着阿嘴一起吃透 Redis,深层次的掌握 Redis 核心原理以及实战技巧。一起搭建一套完整的知识框架,学会全局观去整理整个知识体系。系统观其实是至关重要的,从某种程度上说,在解决问题时,拥有了系统观,就意味着你能有依据、有章法地定位和解决问题。

wdj_yyds的博客 1245

实时系统vxWorks - 虚拟机环境搭建

概述VxWorks 操作系统是美国WindRiver公司于1983年设计开发的一种嵌入式实时操作系统(RTOS),是嵌入式开发环境的关键组成部分。良好的持续发展能力、高性能的内核以及友好的...

不只会拍照的程序猿 7854

【硬核推荐】知乎上万转发的102W字Redis高手心法笔记

天下武功,⽆坚不可摧,唯快不破!今天跟着小编⼀起吃透 Redis,深层次的掌握 Redis 核⼼原理以及实战技巧。⼀起搭建⼀套完整的知识框架,学会全局观去整理整个知识体系。系统观其实是⾄关重要的,从某种程度上说,在解决问题时,拥有了系统观,就意味着你能有依据、有章法地定位和解决问题。

mxt51220的博客 495

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

efm32 入门.pdf

本PDF共计22页,介绍的是操作驱动API,下载与否自己斟酌。

硬核!GitHub置顶102W字Redis高手心法笔记,阿里竟第一时间收藏

天下武功,⽆坚不可摧,唯快不破!今天跟着阿嘴⼀起吃透 Redis,深层次的掌握 Redis 核⼼原理以及实战技巧。⼀起搭建⼀套完整的知识框架,学会全局观去整理整个知识体系。系统观其实是⾄关重要的,从某种程度上说,在解决问题时,拥有了系统观,就意味着你能有依据、有章法地定位和解决问题。

lt_xiaodou的博客 1092

华为的C语言编程规范.pdf

华为技术有限公司内部技术规范。本规范制定了编写C语言程序的基本原则、规则和建议。从代码的清晰、简洁、可测试、安全、程序效率、可移植各个方面对C语言编程作出了具体指导。

腾讯云架构师分享2023最新版Redis核心进阶笔记,从基础—进阶应有尽有

今天跟着小编⼀起吃透 Redis,深层次的掌握 Redis 核⼼原理以及实战技巧。⼀起搭建⼀套完整的知识框架,学会全局观去整理整个知识体系。系统观其实是⾄关重要的,从某种程度上说,在解决问题时,拥有了系统观,就意味着你能有依据、有章法地定位和解决问题。

aa119101的博客 370

ssm框架搭建

这个是一个在idea上成功跑起来的ssm框架项目,保存在这里方便以后使用直接下载

费时“吃透”4个月啃烂完了这份Redis高手心法,成功上岸收到字节offer

今天小编带你⼀起吃透Redis,深层次的掌握 Redis核心原理以及实战技巧。⼀起搭建⼀套完整的知识框架, 学会全局观去整理整个知识体系。系统观其实是至关重要的,从某种程度上说,在解决问题时,拥有了系统观,就意味着你能有依据、有章法地定位和解决问题

mxt51220的博客 503
上一篇: Spring框架中都用到了哪些设计模式?
下一篇: 分享一个JDK批量异步任务工具CompletionService,超好用
Javaesandyou
博客等级 码龄5年 742粉丝 563原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值