数据缓存Redis-分布式锁、异步队列、持久化、Redis集群

最新推荐文章于 2024-07-31 11:15:02 发布
原创 最新推荐文章于 2024-07-31 11:15:02 发布 · 839 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#Redis #异步队列 #持久化 #分布式锁

本文深入探讨了Redis在分布式锁、异步队列、持久化机制、主从同步及集群部署等方面的应用与实践。详细介绍了SEINX实现分布式锁的方法、RDB与AOF持久化的优缺点以及如何利用Redis进行高效的数据处理。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

如何通过Redis实现分布式锁

分布式锁需要解决的问题

互斥性

安全性

死锁

容错

 

SEINX 实现分布锁

 

SEINX key value:如果key不存在，则创建并赋值

时间复杂度:O（1）

返回值:设置成功,返回1;设置失败,返回0。

 

 

如果解决SEINX长期有效的问题

expire key seconds

设置key的生存时间,当key过期时(生存时间为0)，会被自动删除

这串代码有设计问题 如果没有设置成功 就不会执行独立资源逻辑 缺点原子性得不到满足

 

set key value

 

setnx locknx test 不存在就创建并赋值 第二次赋值不会进行改变

expire locknx task 设置过期时间 2秒

set locktarget 1234 ex 10 nx 应为还有没有过期 所以不能设置

 

大量的key同时过期的注意事项

集中过期，由于清理大量的key很耗时，会出现短暂的卡顿现象

解放方案：在设置key的过期时间的时候，给每个key加上随机值

 

如何使用Redis做异步队列

使用List作为队列，rpush生产消息，lpop消费消息

它的缺点：没有等待队列里有值就直接消费

弥补:可以通过在应用层引入sleep机制去调用lpop重试

rpush 添加消息，

然后lpop取出消息

blpop key [key...]timeout:堵塞直到队列有消息或超时

缺点:只提供一个消费者消息

timeout 是时间 堵塞时间

blpop testlist 30  testlist这key堵塞30 秒

另一个客户端shell rpush testlist aaa

那台客户端就获取到了消息

pub/sub:主题订阅者模式

 

老师案例是四个客户端

第一个订阅一个频道

订阅一个myTopic 代码如下

subscribe myTopic

第三个没有订阅，

第四个 往myTopic中添加 "Hello"

第二客户端和第一次客户端 获取到 第四个客户端发送的

 

pub/sub的缺点

消息的分布是无状态，无法保证可达

 

Redis如何做持久化

RDB

RDB(快照)持久化:保存某个时间点的全量数据快照(配置文件进行配置，具体另找文件 这篇只是讲下面试)

save:堵塞Redis的服务器进程，知道RDB文件被创建完毕

bgsave:fork出一个子进程来创建RDB文件，不堵塞服务器进程

 

自动化触发RDB持久化的方式

根据redis.conf配置的SAVE m m定时触发 (用的是BGsave)

主从复制时,主节点自动触发

执行Debug Reload

执行Shutdown且没有开启AOF持久化

 

 

AOF

AOF(持久化):保存写状态

记录下除了查询以外的所有变更数据库状态的指令

以append的形式追加保存到AOF文件中(增量)

 

日志重写解决AOF文件太小不断增大的问题，原理如下：

调用fork()，创建一个子进程

子进程吧新的AOF写到一个临时文件里，不依赖原来的AOF文件

主进程持续将新的变动同时写到内存和原来的AOF里

主进程获取子进程重写AOF的完成信号，往新AOF同步增强变动

使用新的AOF文件替换掉旧的AOF文件

 

 

 

RDB和AOF的优缺点

RDB优点:全量数据快照，文件小，恢复快

RDB缺点：无法保存最近一次快照之后的数据

AOF优先：可读性高，适合保存增量数据，数据不易丢失

AOF缺点：文件体积大，恢复时间长

 

RDB-AOF混合持久化方式

 

使用Pipeline的好处

Pipeline和Linux的管道类似

Redis基于请求/响应模型，单个请求处理需要一一应答

Pipeline批量执行指令，节省多次IO往返的时间

有序依赖的指令建议分批发送

 

主从同步原理

全同步过程

Slave发送sync命令到Master

Master 启动一个后台进程，将Redis中的数据快照保存文件中

Master将保存数据快照期间接收到的写命令缓存起来

Master完成写文件操作后，将该文件发送Slave

使用新的RDB文件替换掉旧的RDB文件

Master将这期间收集的增量写命令发送到Slave段

 

增量同步过程

Master接受到用户的操作指令，判断是否需要传播到Slave

将操作记录追加到AOF文件

将操作传播到其他Slave:1、对齐主从库；2、往响应缓存写入指令

将缓存中的数据发送给Slave

 

解决主从同步Master宕机后的主从切换问题：

监控：检查主从服务器是否允许正常

提醒：通过API向管理员或者其他应用程序发送故障通知

自动故障迁移：主从切换

 

流言协议Gossip

在杂乱无章中寻求一致

每个节点都随机地与对方通信，最终所有节点的状态达成一致

种子节点定期随机向其他节点发送节点列表以及需要传播的消息

不保证消息一定会传播给所有节点，但是最终会趋于一致

 

 

如何从海量数据里快速找到所需？

集群

分片：按照某种规则去划分数据，分散存储在多个节点上

起始位的左边是 2^32-1

 

 

顺时针 一个个服务器进行连接 传递数据

 

 

Node C 宕机 它就会顺时针找到里自己最近分服务器

 

增加服务器只需要在c的位置操作就行

Redis 集群 修改少，扩展性大

 

但是集群也是有缺点

它的缺陷就是 如果服务器分配不均匀 都会往自己近的服务器传数据

 

 

添加编号或者在IP方向进行修改

 

 

 

 

Redis-x64-5.0.14.1.msi & Redis-Desktop-Manager-0.9.3.817 安装包
04-11
Redis集群（Cluster）则为分布式部署提供了支持，允许将数据分散存储到多个Redis节点上，从而实现横向扩展。 Redis的应用场景非常广泛，包括但不限于：内容缓存、会话缓存、消息队列、实时分析、排行榜/计数器、...
高并发系统设计与实现-Redis预减库存-RabbitMQ异步队列-JSR303参数校验-全局异常处理器-页面静态化-对象缓存-分布式Session-Mycat分库分表-秒杀系统-.zip
最新发布
07-12
异步队列的设计与实现涉及消息的可靠性传输、消费者的工作机制、以及消息的持久化等关键技术点。 接下来，JSR303参数校验是Java中使用较为广泛的一个参数校验规范，它支持通过注解的方式定义对象校验规则。在Web...
深入理解redis分布式锁和消息队列
12-16
最近博主在看redis的时候发现了两种redis使用方式，与之前redis作为缓存不同，利用的是redis可设置key的有效时间和redis的BRPOP命令。 分布式锁 由于目前一些编程语言，如PHP等，不能在内存中使用锁，或者如Java这样的，需要一下更为简单的锁校验的时候，redis分布式锁的使用就足够满足了。 redis的分布式锁其实就是基于setnx方法和redis对key可设置有效时间的功能来实现的。基本用法比较简单。 public boolean tryLock(String lock,long expireTime){ String expire = String.va
Redis实现异步队列
calm_encode的博客
08-16 1946
一 概述 异步是指，当前线程执行的时间比较长，在这段时间过程中，可以完成其他工作。 二 Redis实现异步队列 可以利用Redis中的List作为队列的数据结构，RPUSH生产消息，LPOP消费消息。 RPUSH key value //在列表的尾部插入数据 LPOP key //从头部衣出数据 注意，LPOP命令没有任何消息返回时，说明队列中的消息已经被消费完毕，且RPUSH还没有及时生产新消息。面对此过程的时候，我们可以通过应用层引入Sleep机制去调用LPOP重试。 BLPOP k
gearman+redis队列持久化
nana的专栏
07-19 1556
1．下载redis-3.0.2.tar.gz，下载链接：http://download.redis.io/releases/redis-3.0.2.tar.gz          解压安装          开启服务：redis-server/etc/redis.conf            2. 下载gearmand-1.1.12.tar.gz，          解压 tar-
Redis延迟队列
weixin_44045132的博客
07-31 304
Redis延迟队列
深度剖析Redis持久化机制｜高性能架构师带你掌握RDB、AOF与混合模式的核心原理与生产实践
Zyw907155124的博客
01-05 3103
万字长文详解RDB快照的二进制压缩机制、AOF日志的增量重写策略，以及混合持久化如何实现毫秒级恢复。通过源码级原理剖析+生产环境参数配置指南，揭示： 1️⃣ RDB如何通过写时复制技术实现高效内存快照 2️⃣ AOF重写缓冲区如何保证日志完整性 3️⃣ 混合持久化在Redis4.0+的底层实现奥秘 4️⃣ 不同业务场景下的持久化选型策略
《Redis实战：解锁高效应用的奥秘》，Redis在电商、社交平台的高效缓存、分布式锁、异步处理及实时计数系统设计与优化
06-23
首先介绍了Redis的基础特性，包括其作为内存数据库的高速读写能力、丰富的数据结构支持（如字符串、哈希、列表、集合、有序集合）、原子性操作、数据持久化机制以及主从复制、集群、事务、发布/订阅等功能。...
redis-windows-7.4.2.zip
02-09
除了持久化之外，Redis还支持复制、高可用和分布式等特性，这些特性让Redis在大规模数据处理和高并发访问方面表现出色。通过复制功能，可以将同一份数据复制到多个从服务器上，从而实现读写分离，提高系统的整体性能...
【Redis技术】Redis面试题详解：涵盖基础概念、集群与持久化机制、缓存策略及性能优化
05-23
③学会使用Redis构建分布式锁、异步队列和延时队列；④熟悉Redis的持久化机制、过期策略、LRU算法及缓存问题的解决方案；⑤根据业务需求选择合适的缓存技术。; 其他说明：文档内容丰富详尽，适合深入学习Redis技术栈...
基于Redis实现分布式锁以及任务队列
12-16
一、前言 　　双十一刚过不久，大家都知道在天猫、京东、苏宁等等电商网站上有很多秒杀活动，例如在某一个时刻抢购一个原价1999现在秒杀价只要999的手机时，会迎来一个用户请求的高峰期，可能会有几十万几百万的并发量，来抢这个手机，在高并发的情形下会对数据库服务器或者是文件服务器应用服务器造成巨大的压力，严重时说不定就宕机了，另一个问题是，秒杀的东西都是有量的，例如一款手机只有10台的量秒杀，那么，在高并发的情况下，成千上万条数据更新数据库（例如10台的量被人抢一台就会在数据集某些记录下 减1），那次这个时候的先后顺序是很乱的，很容易出现10台的量，抢到的人就不止10个这种严重的问题。那么，以后所说
使用 Redis 实现异步队列
BXA
08-16 2784
异步队列是一种底层基于异步 I/O 模型的消息队列，用于在分布式系统中进行同步和异步的通讯和协作。通过异步队列，消费者可以随时请求生产者生产并发送消息，无需等待回应即可执行其他操作。异步队列在提高系统性能和吞吐量方面有很大的优势。
redis实现异步队列
weixin_28952343的博客
01-03 852
消息队列，异步队列
Redis异步消息队列
渣渣
07-29 990
一、异步消息队列介绍 个人认为消息队列的主要特点是异步处理，主要目的是减少请求响应时间和解耦。所以主要的使用场景就是将比较耗时而且不需要即时（同步）返回结果的操作作为消息放入消息队列。同时由于使用了消息队列，只要保证消息格式不变，消息的发送方和接收方并不需要彼此联系，也不需要受对方的影响，即解耦和。 使用场景的话，举个例子：假设用户在你的软件中注册，服务端收到用户的注册请求后，它会做这些操作： 1.校验用户名等信息，如果没问题会在数据库中添加一个用户记录 2.如果是用邮箱注册会给你发送一封注册成功的邮件，
Redis异步队列与延时队列
hudeyong926的专栏
10-22 1271
异步消息队列 说道消息队列，你肯定会想到Kafka、Rabbitmq等消息中间件，这些专业的消息中间件提供了很多功能特性，当然他的部署使用维护都是比较麻烦的。如果你对消息队列没那么高要求，想要轻量级的，使用Redis就没错啦。 Redis通过list数据结构来实现消息队列.主要使用到如下命令： lpush和rpush入队列 lpop和rpop出队列 blpop和brpop阻塞式出队列 废话补不多说上代码： <?php $redis = new Redis()
基于redis实现异步消息队列
qq_41188974的博客
08-14 383
@Configuration public class ThreadPoolConfig { /** * 事件处理线程池 * * @return Executor */ @Bean(name = "eventThreadPool") public ThreadPoolTaskExecutor eventThreadPool() { ThreadPoolTaskExecutor executor = new ThreadPool
redis异步队列简单笔记
早起的鸟儿有虫吃的博客
03-28 239
redis list结构实现异步队列 rpush lpop 非阻塞方式 rpush blpop 阻塞方式等待消息 缺点：只能供一个消费者消费 pub/sub 1，发送者pub发送消息，订阅者sub接收消息 2，订阅者可以订阅任意数量的频道 subscribe myTopic 订...
使用Redis实现异步消息队列
weixin_34242658的博客
01-08 126
工作中涉及到redis异步消费，查阅资料，记录下~ 使用Redis实现异步消息队列 https://blog.youkuaiyun.com/b540969928/article/details/78406791 异步消息队列 https://blog.youkuaiyun.com/qq_33589510/article/details/77126852 转载于:https://www.cnblogs.com...
Redis缓存、分布式锁、持久化机制
05-13
<think>嗯，用户现在想了解Redis的缓存、分布式锁和持久化机制。首先，我需要回忆一下之前用户提到的内容。用户之前问过操作系统的零拷贝技术，现在转向Redis，可能是在构建高并发系统时需要这些知识点。用户提供的站内引用提到了Redis的优点、持久化、主从同步、哨兵机制和Cluster分片集群，但用户的实际需求是缓存、分布式锁和持久化，所以需要重点聚焦这三个方面。 首先，关于Redis缓存。用户可能想知道为什么Redis适合做缓存，它的优缺点，以及如何应用。根据引用[1]，Redis基于内存，所以速度快，支持多种数据结构，这些都是优点。但内存限制和持久化的问题可能是缺点。需要详细说明缓存穿透、击穿、雪崩的解决方案，因为这些是常见问题，用户可能在实际应用中遇到。 接下来是分布式锁。分布式锁在微服务架构中非常重要，用户可能想知道Redis如何实现可靠的分布式锁。引用中没有直接提到，但根据知识，Redis的SETNX命令是基础，但需要考虑超时、原子性等问题，还有RedLock算法。需要解释这些机制，并提到可能的问题，比如时钟漂移，以及如何避免。 持久化机制方面，引用[2]提到了持久化和主从同步，用户需要详细解释RDB和AOF的区别，优缺点，以及如何选择。可能还需要提到混合持久化，这是Redis 4.0后的新特性，结合两者优点。此外，主从同步和持久化的关系也需要简要说明，因为持久化数据用于同步恢复。 用户可能的应用场景包括高并发缓存、分布式系统协调、数据持久化需求。需要结合实际例子，比如电商库存扣减用分布式锁，缓存热点数据用Redis，持久化确保数据不丢失。 另外，用户可能对如何配置和优化这些功能感兴趣，比如AOF的写回策略，RDB的触发条件，分布式锁的超时设置。需要给出一些最佳实践，比如合理设置过期时间，使用红锁算法，持久化的配置选择等。 还要注意引用之前提到的内容，比如引用[1]中Redis的优点和缓存功能，引用[2]中的持久化和集群机制。但用户的问题更具体，所以需要深入这三个主题，避免偏离到哨兵或Cluster集群，除非必要。 可能用户没有说出来的需求是希望了解这些机制的原理、如何实现以及常见问题的解决方案。所以回答中需要包括原理、实现方式、应用场景和优化建议。例如，在分布式锁部分，不仅要讲SETNX，还要讲Redisson库的实现，避免死锁，锁续期等问题。 总结一下，回答的结构应该分为三个主要部分：缓存、分布式锁、持久化，每个部分详细讲解原理、实现、问题及解决方案，最后给出应用场景和配置建议。确保引用相关的参考文献，比如引用[1]和[2]，但根据用户当前的问题调整重点。</think>### Redis核心机制详解：缓存、分布式锁与持久化 --- #### **一、Redis缓存机制** Redis基于内存的高性能特性使其成为缓存系统的首选方案，其核心优势与实现原理如下： ##### **1. 缓存特性与数据结构** - **内存存储**：数据直接存储在内存中，读写速度可达$10^5$ QPS级别[^1] - **丰富数据结构**： - **String**：缓存简单键值（如用户会话） - **Hash**：存储对象属性（如商品详情） - **ZSet**：实现排行榜（带权重排序） - **BitMap**：统计活跃用户（日活/月活） ```python # 缓存用户信息的Python示例 import redis r = redis.Redis() user_data = {"name": "Alice", "vip_level": 3} r.hset("user:1001", mapping=user_data) # Hash结构存储 ``` ##### **2. 缓存淘汰策略** 通过`maxmemory-policy`配置内存回收机制： | 策略 | 描述 | 适用场景 | |---------------------|------------------------------|----------------| | **volatile-lru** | 淘汰最近最少使用的过期键 | 带TTL的缓存 | | **allkeys-lfu** | 淘汰全量键中最少使用的 | 长期热点数据 | | **volatile-random** | 随机淘汰带过期时间的键 | 临时缓存 | ##### **3. 缓存问题解决方案** - **缓存穿透**：布隆过滤器拦截非法请求 $$ P_{误判} = (1 - e^{-kn/m})^k $$ 其中$n$为元素数量，$m$为比特数，$k$为哈希函数数量 - **缓存击穿**：互斥锁重建热点数据 ```lua -- 使用Lua脚本保证原子性 if redis.call('exists', KEYS[1]) == 0 then redis.call('setex', KEYS[1], ARGV[1], ARGV[2]) end ``` - **缓存雪崩**：随机化过期时间 + 集群分层缓存[^1] --- #### **二、Redis分布式锁实现** 分布式锁是协调多节点操作的核心机制，需满足**互斥性**、**防死锁**、**容错性**三大要求。 ##### **1. 基础实现方案** - **SETNX命令**：`SET lock_key uuid NX EX 30` - `NX`保证原子性创建 - `EX`设置自动过期防止死锁 - **锁续期机制**：通过守护线程定期延长锁时间（Redisson的WatchDog实现） - **释放锁校验**：使用Lua脚本验证持有者身份 ```lua if redis.call("get",KEYS[1]) == ARGV[1] then return redis.call("del",KEYS[1]) else return 0 end ``` ##### **2. RedLock算法** 针对单点故障问题，Martin Kleppmann提出多节点部署方案： 1. 向$N$个节点顺序请求加锁 2. 当$N/2 + 1$节点获取成功时视为加锁成功 3. 锁有效时间需包含网络延迟： $$ T_{valid} = T_{expire} - T_{drift} $$ 其中$T_{drift} = 0.01 \times T_{expire} + 10ms$ ##### **3. 锁冲突处理** - **队列化请求**：客户端自旋等待 + 随机退避 - **公平锁实现**：通过Redis的List结构维护等待队列 --- #### **三、Redis持久化机制** Redis提供两种数据持久化方案，确保故障时数据可恢复： ##### **1. RDB（快照持久化）** - **触发条件**： - 手动执行`SAVE`/`BGSAVE` - 配置自动保存（如`save 900 1`表示900秒内至少1次修改） - **二进制文件格式**：紧凑压缩，恢复速度极快 - **缺陷**：可能丢失最后一次快照后的数据 ##### **2. AOF（追加日志）** - **写回策略**： | 配置项 | 同步频率 | 数据安全性 | 性能影响 | |-------------|-------------------|------------|----------| | **appendfsync always** | 每次写操作同步 | 最高 | 最低 | | **appendfsync everysec** | 每秒批量同步 | 适中 | 中等 | | **appendfsync no** | 由操作系统决定 | 最低 | 最高 | - **重写机制**：通过`BGREWRITEAOF`压缩日志文件，移除冗余命令 ##### **3. 混合持久化（Redis 4.0+）** 结合RDB与AOF优势： 1. 使用RDB格式保存全量数据 2. 后续增量数据以AOF格式追加 $$ File_{hybrid} = RDB_{snapshot} \oplus AOF_{incremental} $$ --- #### **四、应用场景与最佳实践** ##### **1. 典型应用场景** - **高并发缓存**：电商商品详情页缓存（TTL+淘汰策略） - **分布式协调**：秒杀系统库存扣减（分布式锁+原子操作） - **数据持久化**：支付交易流水记录（AOF everysec策略） ##### **2. 配置建议** ```conf # redis.conf优化配置示例 maxmemory 16gb maxmemory-policy allkeys-lfu appendonly yes aof-use-rdb-preamble yes # 启用混合持久化 ``` ##### **3. 监控指标** - **缓存命中率**：`keyspace_hits / (keyspace_hits + keyspace_misses)` - **持久化延迟**：`aof_delayed_fsync`（AOF异步刷盘延迟次数） - **锁竞争强度**：`redis-cli --stat`观察`locked`键变化频率 --- ### 相关问题 1. Redis的缓存淘汰策略如何影响系统性能？ 2. 在分布式锁场景下，时钟漂移会导致什么问题？ 3. RDB和AOF持久化能否同时使用？如何选择？ 4. 如何设计一个支持自动续期的分布式锁？ --- 通过合理运用缓存策略、分布式锁机制与持久化方案，Redis能有效支撑高并发、高可用的分布式系统架构[^1][^2]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值