Redis高性能原因解析——Redis内部的阻塞式操作及应对方法

最新推荐文章于 2024-08-17 22:55:58 发布
原创 最新推荐文章于 2024-08-17 22:55:58 发布 · 1.2k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#数据库 #redis #c++ #经验分享

本文探讨Redis的高性能原因，重点分析内部阻塞操作，如集合查询、bigkey删除、AOF日志同步等，并提出可异步执行的操作，如键值对删除和数据库清空。通过异步执行机制，如子线程处理，提高Redis性能。建议使用SCAN命令分批查询，控制主库RDB文件大小，以减少从库加载时间。

Redis被广泛使用的一个很重要的原因是它的高性能。因此我们必要要重视所有可能影响Redis性能的因素、机制以及应对方案。影响Redis性能的五大方面的潜在因素，分别是：

  • Redis内部的阻塞式操作
  • CPU核和NUMA架构的影响
  • Redis关键系统配置
  • Redis内存碎片
  • Redis缓冲区

本篇文章我们主要了解Redis内部的阻塞式操作以及应对方法。

Redis实例有哪些阻塞点

在分析阻塞点前，我们先来看看和Redis实例交互的对象和操作有哪些：

  • 客户端：网络IO，键值对增删改查操作，数据库操作；
  • 磁盘：生成RDB快照，记录AOF日志，AOF日志重写；
  • 主从节点：主库生成、传输RDB文件，从库接收RDB文件、清空数据库、加载RDB文件；
  • 切片集群实例：向其他实例传输哈希槽信息，数据迁移。

这些交互操作可能会产生潜在的阻塞点。

阻塞点

  • 集合全量查询和聚合操作：要重视复杂度为O(n)的操作。
  • bigkey删除：删除操作的本质是要释放键值对占用的内存空间，一下子释放了大量内存，会造成Redis主线程的阻塞。
  • 清空数据库：频繁删除键值对是潜在风险，清空数据库必然也是一个潜在风险。
  • AOF日志同步写：一个同步写磁盘的操作的耗时大约1~2ms，如果有大量写操作需要记录到AOF日志并同步写回，就会阻塞主线程。
  • 从库加载RDB文件：RDB文件越大，阻塞越久。

哪些阻塞操作可以异步执行

异步执行对操作的要求：<

最低0.47元/天 解锁文章
linuxguitu
关注
Redis——Redis持久化原理
庄小焱
03-29 2083
Redis 的读写都是在内存中，所以它的性能较高，但在内存中的数据会随着服务器的重启而丢失，为了保证数据不丢失，我们需要将内存中的数据存储到磁盘，以便 Redis 重启时能够从磁盘中恢复原有的数据，而整个过程就叫做 Redis 持久化。Redis 持久化也是 Redis 和 Memcached 的主要区别之一，因为 Memcached 不具备持久化功能。
【redis】Redis数据类型(一)——String类型(包含redis通用命令)
低调做人，低调编码，神码都是浮云
04-26 1792
redis基本数据类型之string类型详解
聊聊Redis中有哪些阻塞点以及如何解决？
m0_71777195的博客
10-13 799
说到 Redis，大家自然而然的会想到基于内存、单线程执行等。话说回来，Redis 真的只有单线程吗？这篇文章来说说 Redis 的异步机制。
深入理解redis--应对阻塞
向着高亮的地方
06-20 688
（一）耗时长命令造成阻塞 1. keys、sort，save等命令 keys命令用于查找所有符合给定模式 pattern 的 key，时间复杂度为O(N)， N 为数据库中 key 的数量。当数据库中的个数达到千万时，这个命令会造成读写线程阻塞数秒；类似的命令有sunion sort等操作；实际需求中一定要使用keys、sort等操作怎么办？ 解决方案： 在架构设计中，有“分流”一招，可以看我《高并发之应用限流思路》，简单来说：将请求类型进行分类设计，可以理解为设计不同的通道...
Redis相关面试题
xw4461157的博客
06-20 313
使用了单线程后，可维护性高。我们可以简单的理解为：由于原有缓存失效，新缓存未到期间 (例如：我们设置缓存时采用了相同的过期时间，在同一时刻出现大面积的缓存过期)，所有原本应该访问缓存的请求都去查询数据库了，而对数据库CPU和内存造成巨大压力，严重的会造成数据库宕机。Redis将所有数据放在内存中，内存的响应时长大约为100纳秒，对于小数据包，Redis服务器可以处理80,000到100,000 QPS，这也是Redis处理的极限了，对于80%的公司来说，单线程的Redis已经足够使用了。
redis线程阻塞原因排插_Redis阻塞原因
weixin_36189159的博客
12-24 227
自身因素api或数据结构使用不合理:例如对一个上万元素的hash结构执行hgetall操作，数据量造成堵塞。慢查询大对象a. 数据库清零过后执行redis-cli --bigkeys命令的执行结果，系统没有查询到大的对象127.0.0.1:6379> flushallOK127.0.0.1:6379>[root@localhost etc]# redis-cli --bigkeys# ...
7.Redis主线程阻塞原因
weixin_30588729的博客
07-25 435
7.Redis主线程阻塞原因7.1 发现阻塞7.2 内在原因7.2.1 API或数据结构使用不合理7.2.2 CPU饱和7.2.3 持久化阻塞7.3 外在原因7.3.1 CPU竞争7.3.2 内存交换7.3.3 网络问题7.4 本章重点回顾 转载于:https://www.cnblogs.com/BradMiller/p/10445923.html...
Redis——知识点
最新发布
YR_112233的博客
08-17 1334
Redis的数据类型、Redis的线程模型、Redis的过期删除策略、Redis的高并发与高可用、Redis持久化
Redis 性能调优——缓存设计优化
一叶知秋的博客
07-31 2119
Redis 是一个开源的高性能的 Key-Value 服务器。本篇主要介绍一下缓存的设计与优化。
redis 硬件要求_Redis时延问题分析及应对
weixin_39516865的博客
11-26 282
点击上方☝Java编程技术乐园，轻松关注！及时获取有趣有料的技术文章Redis时延问题分析及应对Redis的事件循环在一个线程中处理，作为一个单线程程序，重要的是要保证事件处理的时延短，这样，事件循环中的后续任务才不会阻塞；当redis的数据量达到一定级别后(比如20G)，阻塞操作对性能的影响尤为严重；下面我们总结下在redis中有哪些耗时的场景及应对方法；耗时长的命令造成阻塞keys、sort等...
探寻Redis的世界：Redis常见阻塞原因总结
zxyhj的博客
03-19 1473
Swap 直译过来是交换的意思，Linux 中的 Swap 常被称为内存交换或者交换分区。类似于 Windows 中的虚拟内存，就是当内存不足的时候，把一部分硬盘空间虚拟成内存使用，从而解决内存容量不足的情况。因此，Swap 分区的作用就是牺牲硬盘，增加内存，解决 VPS 内存不够用或者爆满的问题。Swap 对于 Redis 来说是非常致命的，Redis 保证高性能的一个重要前提是所有的数据在内存中。
redis线程阻塞原因排插_Redis阻塞整理笔记
weixin_28900989的博客
12-24 910
Redis是典型的单线程架构，所有的读写操作都是在一条主线程中完成的。当Redis用于高并发场景时，这条线程就变成了它的生命线。如果出现阻塞，哪怕是很短时间，对于应用来说都是噩梦。导致阻塞问题的原因：内在原因：不合理地使用API或数据结构、CPU饱和、持久化阻塞等外在原因：CPU竞争、内存交换、网络问题等一、发现阻塞应用方加入异常监控，如日志系统，比如Java语言中的logback或log4jRe...
Redis阻塞整理笔记
跨过山和大海的博客
10-29 168
Redis是典型的单线程架构，所有的读写操作都是在一条主线程中完成的。当Redis用于高并发场景时，这条线程就变成了它的生命线。如果出现阻塞，哪怕是很短时间，对于应用来说都是噩梦。 导致阻塞问题的原因： 内在原因：不合理地使用API或数据结构、CPU饱和、持久化阻塞等 外在原因：CPU竞争、内存交换、网络问题等         一、发现阻塞 应用方加入异常监控，如日志系统，比如...
redis之单线程的redis都有哪些阻塞点
wang0907的博客
11-14 970
我们知道在Redis6.0之前Redis处理网络IO，数据读写都是使用一些线程来执行，我们将这个线程也叫做是主线程，那么，当某些操作阻塞了主线程时，就会影响redis对外提供正常的数据读取服务，本文就一起来看下都可能有哪些操作会阻塞主线程，即看下阻塞点都有哪些，这样我们才能更好的使用Redis，避免出现性能问题。接下来我们就一起来看下吧！1：bigkey删除2：清空库操作3：全量查询和聚合操作4：AOF日志的同步写入5：加载RBD文件1：bigkey删除。
redis单线程模型阻塞问题浅析
java_cch的博客
04-10 2041
redis知识速览 解决问题很好的一个方式就是先建立起“系统观”。这也就是说，如果我们想要深入理解和优化 Redis，就必须要对它的总体架构和关键模块有一个全局的认知，然后再深入到具体的技术点。 redis6.0之后就是多线程版本的了。 好久没写了，今日就浅分享一下我的第一次在公司的技术分享吧，拿走吧，拿这个和面试官过招。 两大维度和三大主线 redis常见问题图 举个例子，如果你遇到了 Redis 的响应变慢问题，对照着这张图，你就可以发现，这个问题和 Redis 的性能主线相关，而性能主线又和数据结
什么情况下可能会导致 Redis 阻塞？
wupanP的博客
08-02 580
在执行持久化操作时，尤其是生成 RDB 快照或 AOF 重写时，会消耗大量的 CPU 和 I/O 资源，可能会导致 Redis 响应变慢，甚至阻塞。此外，在主节点处理复制请求时，也会消耗一定的资源，影响主节点的性能。如果某个命令执行时间过长，会阻塞后续命令的执行。在 Redis 集群模式下，当进行重平衡操作（如增加或删除节点）时，数据的重新分布会消耗大量资源，可能会导致 Redis 节点的短暂阻塞。Redis 中某些命令的时间复杂度较高，如果在大数据集上使用这些命令，可能会导致 Redis 阻塞。
Redis学习笔记-避免Redis单线程阻塞
qq_38937634的博客
01-11 608
文章目录Redis学习笔记-避免Redis单线程阻塞1.笔记图2.影响 Redis 性能的因素3.和 Redis 实例的交互方式4.Redis 潜在阻塞点5.潜在阻塞点优化(执行异步操作)5.1 关键路径上的操作5.2 非关键路径上的操作6.异步子线程机制 Redis学习笔记-避免Redis单线程阻塞 我们都知道 Redis 中的增删改查操作使用的是单线程模型(对于读写操作，Redis 6.0也是单线程)，既然 Redis 是单线程就需要注意其潜在阻塞点，这篇文章学习一下 Redis 有哪些可能造成单线程阻
Redis常见阻塞原因
weixin_47786582的博客
07-18 807
使用时间复杂度O（n）的不当命令造成全表扫描，导致阻塞如 keys * 获取所有key。
第7章 Redis的噩梦：阻塞
weixin_44231698的博客
06-28 747
Redis是典型的单线程架构，所有的读写操作都是在一条主线程中完成的。当Redis用于高并发场景时，如果出现阻塞，哪怕是很短时间，对于我们的应用来说都是噩梦。内在原因包括：不合理地使用API或数据结构、CPU饱和、持久化阻塞等。外在原因包括：CPU竞争、内存交换、网络问题等。
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值