Redis 虽然很牛,但不懂使用规范就糟了!

C++如何实时监测另一个进程是否已经退出?(附源码) 调用WaitForSingleObject实时监测目标进程是否已经退出 阅读详情

点击上方“芋道源码”,选择“设为星标”

管她前浪,还是后浪?

能浪的浪,才是好浪!

每天 10:33 更新文章,每天掉亿点点头发...

源码精品专栏

 

028808b498c814bd9342b54a087c39e8.png


❝

这可能是最中肯的 Redis 使用规范了

有位朋友在单身红娘婚恋类型互联网公司工作,在双十一推出下单就送女朋友的活动。

谁曾想,凌晨 12 点之后,用户量暴增,出现了一个技术故障,用户无法下单,当时老大火冒三丈!

经过查找发现 Redis 报 Could not get a resource from the pool。

获取不到连接资源,并且集群中的单台 Redis 连接量很高。

于是各种更改最大连接数、连接等待数,虽然报错信息频率有所缓解,但还是持续报错 。

后来经过线下测试,发现存放 Redis 中的字符数据很大,平均 1s 返回数据 。

❝

码哥,可以分享下使用 Redis 的规范么?我想做一个唯快不破的真男人!

通过 Redis 为什么这么快?这篇文章我们知道 Redis 为了高性能和节省内存费劲心思。

所以,只有规范的使用 Redis,才能实现高性能和节省内存,否则再屌的 Redis 也禁不起我们瞎折腾。

Redis 使用规范围绕如下几个纬度展开:

  • 键值对使用规范;

  • 命令使用规范;

  • 数据保存规范;

  • 运维规范。

键值对使用规范

有两点需要注意:

  1. 好的 key 命名,才能提供可读性强、可维护性高的 key,便于定位问题和寻找数据。

  2. value要避免出现 bigkey、选择高效的序列化和压缩、使用对象共享池、选择高效恰当的数据类型。

key 命名规范

规范的 key命名,在遇到问题的时候能够方便定位。Redis 属于 没有 Scheme的 NoSQL数据库。

所以要靠规范来建立其 Scheme 语意,就好比根据不同的场景我们建立不同的数据库。

敲黑板

把「业务模块名」作为前缀(好比数据库 Scheme),通过「冒号」分隔,再加上「具体业务名」。

这样我们就可以通过 key 前缀来区分不同的业务数据,清晰明了。

总结起来就是:「业务名:表名:id」

比如我们要统计属于技术类型的博主「码哥字节」的粉丝数。

set 技术类:码哥字节 100000

❝

码哥,key 太长的话有什么问题么?

key 是字符串,底层的数据结构是 SDS,SDS 结构中会包含字符串长度、分配空间大小等元数据信息。

字符串长度增加,SDS 的元数据也会占用更多的内存空间。

所以当字符串太长的时候,我们可以采用适当缩写的形式。

不要使用 bigkey

❝

码哥,我就中招了,导致报错获取不到连接。

因为 Redis 是单线程执行读写指令,如果出现bigkey 的读写操作就会阻塞线程,降低 Redis 的处理效率。

bigkey包含两种情况:

  • 键值对的 value很大,比如 value保存了 2MB的 String数据;

  • 键值对的 value是集合类型,元素很多,比如保存了 5 万个元素的 List 集合。

虽然 Redis 官方说明了 key和string类型 value限制均为512MB。

防止网卡流量、慢查询,string类型控制在10KB以内,hash、list、set、zset元素个数不要超过 5000。

❝

码哥,如果业务数据就是这么大咋办?比如保存的是《金瓶梅》这个大作。

我们还可以通过 gzip 数据压缩来减小数据大小:

/**
 * 使用gzip压缩字符串
 */
public static String compress(String str) {
    if (str == null || str.length() == 0) {
        return str;
    }

    try (ByteArrayOutputStream out = new ByteArrayOutputStream();
    GZIPOutputStream gzip = new GZIPOutputStream(out)) {
        gzip.write(str.getBytes());
    } catch (IOException e) {
        e.printStackTrace();
    }
    return new sun.misc.BASE64Encoder().encode(out.toByteArray());
}

/**
 * 使用gzip解压缩
 */
public static String uncompress(String compressedStr) {
    if (compressedStr == null || compressedStr.length() == 0) {
        return compressedStr;
    }
    byte[] compressed = new sun.misc.BASE64Decoder().decodeBuffer(compressedStr);;
    String decompressed = null;
    try (ByteArrayOutputStream out = new ByteArrayOutputStream();
    ByteArrayInputStream in = new ByteArrayInputStream(compressed);
    GZIPInputStream ginzip = new GZIPInputStream(in);) {
        byte[] buffer = new byte[1024];
        int offset = -1;
        while ((offset = ginzip.read(buffer)) != -1) {
            out.write(buffer, 0, offset);
        }
        decompressed = out.toString();
    } catch (IOException e) {
        e.printStackTrace();
    }
    return decompressed;
}

集合类型

如果集合类型的元素的确很多,我们可以将一个大集合拆分成多个小集合来保存。

使用高效序列化和压缩方法

为了节省内存,我们可以使用高效的序列化方法和压缩方法去减少 value的大小。

protostuff和 kryo这两种序列化方法,就要比 Java内置的序列化方法效率更高。

上述的两种序列化方式虽然省内存,但是序列化后都是二进制数据,可读性太差。

通常我们会序列化成 JSON或者 XML,为了避免数据占用空间大,我们可以使用压缩工具(snappy、 gzip)将数据压缩再存到 Redis 中。

使用整数对象共享池

Redis 内部维护了 0 到 9999 这 1 万个整数对象,并把这些整数作为一个共享池使用。

即使大量键值对保存了 0 到 9999 范围内的整数,在 Redis 实例中,其实只保存了一份整数对象,可以节省内存空间。

需要注意的是,有两种情况是不生效的:

  1. Redis 中设置了 maxmemory,而且启用了 LRU策略(allkeys-lru 或 volatile-lru 策略),那么,整数对象共享池就无法使用了。

    ❝

    这是因为 LRU 需要统计每个键值对的使用时间,如果不同的键值对都复用一个整数对象就无法统计了。

  2. 如果集合类型数据采用 ziplist 编码,而集合元素是整数,这个时候,也不能使用共享池。

    ❝

    因为 ziplist 使用了紧凑型内存结构,判断整数对象的共享情况效率低。

推荐下自己做的 Spring Boot 的实战项目:

https://github.com/YunaiV/ruoyi-vue-pro

命令使用规范

有的命令的执行会造成很大的性能问题,我们需要格外注意。

生产禁用的指令

Redis 是单线程处理请求操作,如果我们执行一些涉及大量操作、耗时长的命令,就会严重阻塞主线程,导致其它请求无法得到正常处理。

  • KEYS:该命令需要对 Redis 的全局哈希表进行全表扫描,严重阻塞 Redis 主线程;

    ❝

    应该使用 SCAN 来代替,分批返回符合条件的键值对,避免主线程阻塞。

  • FLUSHALL:删除 Redis 实例上的所有数据,如果数据量很大,会严重阻塞 Redis 主线程;

  • FLUSHDB,删除当前数据库中的数据,如果数据量很大,同样会阻塞 Redis 主线程。

    ❝

    加上 ASYNC 选项,让 FLUSHALL,FLUSHDB 异步执行。

我们也可以直接禁用,用rename-command命令在配置文件中对这些命令进行重命名,让客户端无法使用这些命令。

慎用 MONITOR 命令

MONITOR 命令会把监控到的内容持续写入输出缓冲区。

如果线上命令的操作很多,输出缓冲区很快就会溢出了,这就会对 Redis 性能造成影响,甚至引起服务崩溃。

所以,除非十分需要监测某些命令的执行(例如,Redis 性能突然变慢,我们想查看下客户端执行了哪些命令)我们才使用。

慎用全量操作命令

比如获取集合中的所有元素(HASH 类型的 hgetall、List 类型的 lrange、Set 类型的 smembers、zrange 等命令)。

这些操作会对整个底层数据结构进行全量扫描 ,导致阻塞 Redis 主线程。

❝

码哥,如果业务场景就是需要获取全量数据咋办?

有两个方式可以解决:

  1. 使用 SSCAN、HSCAN等命令分批返回集合数据;

  2. 把大集合拆成小集合,比如按照时间、区域等划分。

推荐下自己做的 Spring Cloud 的实战项目:

https://github.com/YunaiV/onemall

数据保存规范

冷热数据分离

虽然 Redis 支持使用 RDB 快照和 AOF 日志持久化保存数据,但是,这两个机制都是用来提供数据可靠性保证的,并不是用来扩充数据容量的。

不要什么数据都存在 Redis,应该作为缓存保存热数据 ,这样既可以充分利用 Redis 的高性能特性,还可以把宝贵的内存资源用在服务热数据上。

业务数据隔离

不要将不相关的数据业务都放到一个 Redis 中。一方面避免业务相互影响,另一方面避免单实例膨胀,并能在故障时降低影响面,快速恢复。

设置过期时间

在数据保存时,我建议你根据业务使用数据的时长,设置数据的过期时间。

写入 Redis 的数据会一直占用内存,如果数据持续增多,就可能达到机器的内存上限,造成内存溢出,导致服务崩溃。

控制单实例的内存容量

建议设置在 2~6 GB 。这样一来,无论是 RDB 快照,还是主从集群进行数据同步,都能很快完成,不会阻塞正常请求的处理。

防止缓存雪崩

避免集中过期 key 导致缓存雪崩。

❝

码哥,什么是缓存雪崩?

当某一个时刻出现大规模的缓存失效的情况,那么就会导致大量的请求直接打在数据库上面,导致数据库压力巨大,如果在高并发的情况下,可能瞬间就会导致数据库宕机。

运维规范

  1. 使用 Cluster 集群或者哨兵集群,做到高可用;

  2. 实例设置最大连接数,防止过多客户端连接导致实例负载过高,影响性能。

  3. 不开启 AOF 或开启 AOF 配置为每秒刷盘,避免磁盘 IO 拖慢 Redis 性能。

  4. 设置合理的 repl-backlog,降低主从全量同步的概率

  5. 设置合理的 slave client-output-buffer-limit,避免主从复制中断情况发生。

  6. 根据实际场景设置合适的内存淘汰策略。

  7. 使用连接池操作 Redis。



欢迎加入我的知识星球,一起探讨架构,交流源码。加入方式,长按下方二维码噢:

34cd53862b4748f38f1832e0fc389685.png

已在知识星球更新源码解析如下:

a9fb29e6fc9d7e7855ef4e0192ad38ca.png

7c0971352e8174584626d6ada77b4f34.png

46d36c2b67040fc90bdd25da155da550.png

319c8b3b63fcc664d11aaa78f51201b6.png

最近更新《芋道 SpringBoot 2.X 入门》系列,已经 101 余篇,覆盖了 MyBatis、Redis、MongoDB、ES、分库分表、读写分离、SpringMVC、Webflux、权限、WebSocket、Dubbo、RabbitMQ、RocketMQ、Kafka、性能测试等等内容。

提供近 3W 行代码的 SpringBoot 示例,以及超 4W 行代码的电商微服务项目。

获取方式:点“在看”,关注公众号并回复 666 领取,更多内容陆续奉上。

文章有帮助的话,在看,转发吧。
谢谢支持哟 (*^__^*)
OpenClaw入门必装Skills(附使用场景) 很多同学安装了OpenClaw后,但却不会使用,就相当于你只是拥有了一副强大的躯干,却没有给它装上能够灵活执行任务的“手脚”和负责思考决策的“大脑插件”——Skills。没有这些核心能力的支撑,OpenClaw只是一个“空壳”,无法真正应用到实际业务场景中,更谈不上提升效率或解决复杂问题。所以,安装只是第一步,要真正让OpenClaw“活”起来,为我们所用,就需要给OpenClaw安装各种Skills,这个过程就是养虾的过程。 阅读详情

相关推荐

深度学习|卷积神经网络

介绍卷积神经网络基本理论,包括卷积层、池化层和全连接层,并阐述LeNet卷积神经网络的构建过程。

weixin_58243219的博客 5731

Redis 很屌,不懂使用规范就糟蹋了

通过 Redis 为什么这么快?这篇文章我们知道 Redis 为了高性能和节省内存费劲心思。所以,只有规范的使用 Redis,才能实现高性能和节省内存,否则再屌的 Redis 也禁不起我们瞎折腾。Redis 使用规范围绕如下几个纬度展开:键值对使用规范;命令使用规范;数据保存规范;运维规范。有两点需要注意:好的 命名,才能提供可读性强、可维护性高的 key,便于定位问题和寻找数据。要避免出现 、选择高效的序列化和压缩、使用对象共享池、选择高效恰当的数据类型(可参考《Redis 实战篇:巧用数据类型实现亿级

dz45693的专栏 1132

Labview_DQMH框架学习1--浅析

本文主要结合一个相对容易理解的例子,阐述 DQMH 框架的工作原理,希望对初学者有一定的帮助。

hrbeuxn的博客 3054

Redis 的标准使用规范之基础规范

【必须】key 禁止使用特殊字符:如空格、换行符、单双引号及其他转义字符等。【建议】key 的命名需遵循小写原则,且不允许重复 key,否则会产生覆盖情况,合理控制 key 的长度,避免使用过长的 key 或者过简单的 key,减少内存消耗并增加易读性,一般 key 长度不建议超过 30 字符。【建议】建议使用“项目名”+“分隔符”+“业务含义” 的英文作为 key 的前缀,防止 key 冲突,“:” 或 “.” 作为间隔,字符包。

风信子的博客 1734

spoon工具的常用基础操作

先创建一个作业,这个作业流程,包括进行设置变量转换,查询结果输出转换,方便后续循环。整个流程写完后,执行作业5_执行整个流程,成功后,可以在数据库查看结果。,新建一个转换,excel表输入然后复制记录到结果,保存转换文件。这三个用户下 都有一张emp表 分别是 三个部门的用户信息。,新建一个数据库连接,变量命名用户名和密码。成功执行后,可以到保存的excel位置进行查看。emp表输入,可以进行预览查看数据有没有过来。输出到一直excel表,运行结果输出。,新建一个转换,拖拽。

qq_43583887的博客 5831

PIV实验流场流速云图(MALAB contour函数用法)

clear;clc; for k=1:5 str1=['filename1']; str2=['filename2']; str3=['filename3']; str=eval(['str',num2str(k)]); load(str); [m n]=size(y); y=flipud(y); v=-v; x=x-x(1,...

Nick_Cui的博客 3229

Redis 使用规范

理由:由于 Redis 过期 Key 的清理采用惰性删除策略,即主节点的 Key 过期后不是立马被清理,而是逐批扫描清理或者被访问时主动清理,且从节点 Key 的清理只能依赖主节点的同步删除,slave 自己是不能主动发起清理的。理由:除了 5.0 版本引入了更多新特性及 bug 修复外,5.0 对 Redis 的内存碎片管理效率带来了极大的提升,而碎片绝对是 Redis 的一大性能杀手,但早期的 2.x、3.x、4.x 版本都没有很好的解决这一问题!理由:内存是昂贵的!理由:内存是昂贵的!

whoyouare6165的博客 1947

Win 11 Fastboot驱动的详细安装教程

Fastboot驱动的详细安装教程

水w的博客 1万+

Redis的使用规范小建议

今天,我们来聊一个轻松点儿的话题,来介绍一下 Redis 的使用规范,包括键值对使用、业务数据保存和命令使用规范。毕竟,高性能和节省内存,是我们的两个目标,只有规范地使用 Redis,才能真正实现这两个目标。如果说之前的内容教会了你怎么用,那么今天的内容,就是帮助你用好 Redis,尽量不出错。好了,话不多说,我们来看下键值对的使用规范。

qq_37756660的博客 1059

Python爬虫实战:贝壳找房二手房数据全维度抓取与成交分析(反爬突破+数据建模+可视化)

本次实战的核心不是“写爬虫脚本”,而是“构建一套贴合房产分析的贝壳找房数据抓取与分析体系”——从反爬突破保证数据获取的稳定性,到多维度分析挖掘房产的投资/居住价值,最终落地到具体的购房、投资决策。

专注于Python爬虫开发,分享爬虫技巧、项目实战与反爬经验,使用Scrapy、BeautifulSoup等工具,解决数据抓取难题。 2746

DSP烧写程序的步骤流程

1,先打开 “Code Composer Studio 5.5.0”软件,选择一个DSP的工作区路径(可自行选择,不能有中文路径),如下图 2,将烧写bin文件(例如Lss_Board0_xxx.bin、Lss_Board1_xxx.bin)拷贝至烧录工程文件夹WriteCode内。选择CCS Edit窗口选项,若隐藏可点击右侧>>符号,从菜单栏点击Project,选择Import Existing CCS Eclipse Project,从弹出的对话框中选择WriteCode工程路径,从

wangjie36的博客 1万+

【Redis】Redis使用规范

Redis使用规范

Hanson的博客 1150

基于STM32+ESP8266+手机 APP+阿里云的智能小车设计与实现(项目资料ID:4)

本研究旨在设计一款高度智能化的智能小车系统,通过集成 STM32 微控制器、ESP8266 无线模块、手机 APP 以及阿里云平台,实现环境数据实时采集、远程精准控制和高效的数据交互。详细阐述系统各部分的设计原理、实现过程和测试结果,验证系统在实际应用中的可行性和有效性,为智能小车在多领域的应用提供技术支持。

以培养嵌入式工程师为己任 1万+

redis使用规范

redis使用规范

liucan1020的博客 1047

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

蓝牙模块HM-10手册

蓝牙模块HM-10手册,该手册对蓝牙模块HM-10进行了详细的介绍和使用方法以及一些AT指令。

代码规范 —— Redis 开发规范

除了带来极大的内存占用外,在访问量高时,很容易就会将网卡流量占满,进而造成整个服务器上的所有服务不可用,并引发雪崩效应,造成各个系统瘫痪。的多数据库较弱,使用数字进行区分,很多客户端支持较差,同时多业务用多数据库实际还是单线程处理,会有干扰。等基于磁盘的存储方式,不仅节省内存成本,而且数据量小在操作时速度更快、效率更高。设置过期时间(条件允许可以打散过期时间,防止集中过期),不过期的数据重点关注。☑️ 禁止包含特殊字符如空格,换行,单双引号,其他转义字符。不能被不同的应用,不同的场景使用。

程序猿进阶 2786

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

Redis使用的21条军规(规范)

关于redis使用的一些坑进行了经验总结。适用场景:并发量大、访问量大的业务,重在理解含义提示:以下是本篇文章正文内容,下面案例可供参考。

虽千万人,吾往矣 2364

RU DOS版、EFI版32bit/64bit BIOS常用工具

DOS版、EFI版的RU工具,可用来查看IO、MEM、PCI、SMBIOS等资源。亲测在EFI SHELL下可用。

Redis使用规范

在实际开发过程中,从性能或者规范的角度考虑,都需要给团队的成员制定使用redis的使用规范。防止出现例如,key的定义五花八门,危险命令代码中随便使用等情况。

他叫阿来 765

Redis的使用规范

1、Redis的使用规范 1.1、 key的规范要点 我们设计Redis的key的时候,要注意以下这几个点: 以业务名为key前缀,用冒号隔开,以防止key冲突覆盖。如,live:rank:1 确保key的语义清晰的情况下,key的长度尽量小于30个字符。 key禁止包含特殊字符,如空格、换行、单双引号以及其他转义字符。 Redis的key尽量设置ttl,以保证不使用的Key能被及时清理或淘汰。 1.2、value的规范要点 Redis的value值不可以随意设置的哦。 第一点,如果.

Meiko记录 1049

redis规范

建议根据业务只将高频热数据存储到Redis中【QPS大于5000】,对于低频冷数据可以使用MySQL/ElasticSearch/MongoDB等基于磁盘的存储方式,不仅节省内存成本,而且数据量小在操作时速度更快、效率更高。Redis主要用于缓存处理,加快读取效率,但在使用过程中需要注意合理的使用,一般存储全局配置数据和一些访问非常频繁的较为静态的数据,另外注意过期时间控制,减少资源的不必要消耗。并发量:如果你的应用程序具有高并发的特点,可以增加连接数的值,以确保有足够的连接可供同时使用。

kkkkm1的博客 839
上一篇: Redis如何高效实现点赞、取消点赞功能
下一篇: 又一个阿里离职的 P10 大佬
公众号-芋道源码
博客等级 码龄10年 1639粉丝 377原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值