redis时钟漂移造成的 key值失效

已于 2023-06-28 14:47:41 修改
阅读量931 收藏 2
点赞数
文章标签： redis 数据库 缓存 分布式集群 集群时间同步
于 2023-06-28 14:46:27 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_43538493/article/details/131433825
版权

问题现象

问题：最近客户新切了生产环境，结果有些接口不能用了，一直报“xxx失效，校验失败”，排查了一下，代码也没改动，其他环境同样也是好的。

原因

苦思不得其解，问了大佬，才知道，可能是集群内服务器时间不一样，造成redis时钟漂移，导致key值校验时已经过期了。一排查，果真如此。

那么这个redis时钟漂移到底是什么呢？为什么集群内服务器时间不一样，会导致一个设定好过期的key值提前失效呢？

详解redis时钟漂移

关键点：resis设置的过期时间，是当前服务器时间加上设定的expires时间。
场景：服务器A 在2023/6/28 00:00:00设置了 30分钟过期的key1，key1在00：30：00 失效过期，假如服务器B比服务器A快1一个小时，那么B将一直拿不到A设定的key1

解决方案

无非是让集群时间保持一致，以下将围绕这个点进行讨论

方式一：与互联网时间同步
阿里云时钟同步服务器
ntpdate ntp4.aliyun.com
创建 crontab 任务调度
crontab -e
*/1 * * * * /usr/sbin/ntpdate ntp4.aliyun.com;
输入date，测试

式二：和内网某台机器同步
参考这里

Redis 作者 Antirez 讲如何实现分布式锁？Redis 实现分布式锁天然的缺陷分析&Redis分布式锁的正确使用姿势！...
AI天才研究院
11-21 8774
Redis分布式锁基本原理采用 redis 实现分布式锁，主要是利用其单线程命令执行的特性，一般是 setnx， 只会有一个线程会执行成功，也就是只有一个线程能成功获取锁；看着很完美。然而——看看可能有什么问题？一般生产环境为了可用性，redis 会部署 master-slave + sentinel 的结构， 如：master 提供服务、slave standby 作为备份节点不提供服务， ma...
【Java程序员面试专栏 分布式中间件】Redis 核心面试指引
MaoLin Tian's Blog
02-16 582
Redis是一个开源的、内存中的数据结构存储系统，它可以用作数据库、缓存和消息中间件。Redis支持多种类型的数据结构，如字符串（strings）、散列（hashes）、列表（lists）、集合（sets）、有序集合（sorted sets）以及范围查询、位图、流和基数估计等高级数据结构。它通过将数据存储在内存中来提供高性能的读写操作，对于需要快速访问大量数据的应用程序而言，这一点尤其重要。性能极高：由于数据存储在内存中，Redis能够提供极高的性能，使其成为处理大量读写操作的理想选择。支持持久化。
linux 时钟漂移,Redis 实现分布式锁之Redlock 算法浅析
weixin_39643679的博客
05-16 1418
保证分布式锁有效的三个属性Safety Properties：安全性，此处也就是互斥性，任意时刻只能有一个客户端可以持有锁Liveness Property A：无死锁，即使持有锁的客户端崩溃或被分区，也可以获得锁Liveness Property B：容错性，只要大多数 Redis 节点正常，客户端就能获取和释放锁为什么基于故障转移(failover-based)的实现还不够我们先来看看现有大多...
【分布式微服务云原生】《Redis RedLock 算法全解析：应对时钟漂移与网络分区挑战》
Dylaniou的博客
10-19 1205
Redis 的 RedLock 算法是一种在 Redis 集群环境下实现分布式锁的机制。这种算法由 Redis 的作者 Antirez 提出，旨在解决单 Redis 实例在主从复制、哨兵集群下的多节点问题，确保在分布式系统中对共享资源的互斥访问。RedLock 算法通过在多个 Redis 节点上创建锁来实现分布式锁的功能，并通过设置合理的 TTL 和超时时间来减少时钟漂移和网络分区问题的影响。
设置redis缓存的key有效期一天，每天凌晨失效
热门推荐
lockie的博客
04-25 1万+
实际项目开发过程中我们需要设置某个redis的key只保留一天，如刷新时间日期的key redisTemplate.opsForValue().set(CHARGEBI_YEAR_WEEKS, "2022-04-25",seconds, TimeUnit.SECONDS); 所以我们在设置的key的时候就需要计算当前时间离凌晨的秒数 方案一： 使用Calendar（Java 8之前） getInstance()是Calendar提供的一个类方法，它的作用是获得一个Calendar类型的通用对象，ge
Redis的数据类型、设置key失效
lanleihhh的博客
05-19 1634
Redis的数据类型、设置key失效 、springboot集成Redisstring 字符串单值缓存对象缓存（用于不修改对象）计数器hash 散列list 列表set 集合（无序）Zset 有序集合 string 字符串 string是Redis最基本的类型，一个key映射一个value 是二进制安全的，可以存储图片、序列化对象等 最大存储512MB 单值缓存 set key value 存入键值对 append key value 在key对应的值后追加value，返回新长度 strlen
docker redis主从+哨兵模式+ip漂移
id_is_null的博客
05-18 1516
docker版 redis主从+哨兵模式+ip漂移实现redis高可用方案实现
深入理解Redis分布式锁
weixin_44271683的博客
05-28 1179
背景 项目中有个场景是做数据分析，然后将目标数据保存在db,有个要求是将同类型的目标数据值保存一次，因此每次保存时需要判断之前是否已经存在了，由于qps较高，之前使用redis来缓存已经保存的数据，来抵挡对db的大部分流量，最近业务拓展同类型目标数据的qps可能超大(极限时达到20Wqps以上)，此时由于在分布式场景下redis查询未加锁，可能多个线程同时查询redis得到的结果为并未保存，此时问题发生了，可能同时有多个线程执行保存到db操作，虽然db做了unique Key的限制，但担心到db qps过高
redis主从故障自动切换IP漂移
chenguohong88的博客
05-01 5438
随着web2.0时代的到来，对web服务QPS要求越来越高，天下武功唯快不破，将数据存储到内存无疑是IO最快的方式。内存容量和价格已经不能再限制我们的想象力，因此使用redis代替传统数据库可以成为高QPS的一个选择。本文将介绍redis主从复制模式，故障自动切换和虚拟IP的漂移。redis主从复制可以提供数据冗余容灾，sentinel实现故障自动切换保证服务高可用，keepalived 可使客户...
redis flushdb造成的哨兵漂移
copd94993的博客
02-25 488
年前发现一redis数据量过大，数据不大正常，和研发商量使用flushall进行清理。在主节点执行，执行完后发现master漂移到其他节点，然后数据又从其他节点同步过来了。。于是在三台机器上同时执行flushall,再...
Redis-持久化、缓存雪崩-穿透-击穿、分布式锁及双写一致性【随笔三】
qq_39668819的博客
05-20 695
Redis 持久化 持久化就是把内存数据写入磁盘，防止服务宕机造成数据丢失，Redis 提供了不同级别的持久化方式： RDB（Redis DataBase）：RDB持久化一指定的时间间隔执行数据集的时间点快照。 AOF（Append Only File）：AOF持久化记录服务器接收到的每一个写操作，在服务器重启时会重新执行这些命令来恢复原始的数据，AOF命令以redis协议追加保存每次写的操作到文件末尾。Redis还能对AOF文件进行后台重写，使AOF文件的体积不至于过大。 无持久性：如果你希望你的数据只
Redis Cluster集群
ii0789789789的博客
03-18 874
简单记录学习Redis Cluter集群中的一些特性，包括数据分片 、主从切换、副本漂移、分片漂移。希望能够和各位读者多多交流！
Redis源码初探（十四）服务器-时间事件和服务器创建过程
joker678的博客
08-12 349
serverCron函数 Redis服务器中的serverCron函数默认每隔100毫秒执行一次，这个函数负责管理服务器的资源，并保持服务器自身的良好运转。 int serverCron(struct aeEventLoop *eventLoop, long long id, void *clientData) { int j; REDIS_NOTUSED(eventLoop); REDIS_NOTUSED(id); REDIS_NOTUSED(clientData);
redis修改服务器时间命令,redis.config修改配置
weixin_42460407的博客
08-12 998
运行redis.server1、新建一个文件夹，新建redis.conf文件，运行redis服务器指令：redis-server redis.conf2、修改密码：打开redis.conf，全文件查找requirepass 字段，把requirepass后面的改成自己需要修改的密码3、打开redis.conf，修改protected-mode字段，把yes改为no，并且把bind 127.0.0....
【后端】Java设置时间Redis第二天过期
HolaOrange的博客
04-04 2659
Java设置时间Redis第二天过期 , Java设置时间第二天过期 , Java设置时间到零点过期 , Java怎么设置时间第二天过期用Redis
服务器时间与宿主机时间不一致的解决方法
baidu_23433185的博客
03-04 582
1.首先看一下服务器时间和log文件的时间戳： 2.再看一下宿主机的时间： 发现两者之间的时间相差了八个小时！会极大的影响易用性，比如查看log的时候，时间总不对应很烦！！！！(我们S2最美女程序就反映了这个问题) 宿主机采用了HKT时区，HKT应该是指（Hong kong Time，东八区时间） 容器采用了UTC时区，UTC应该是指（Coordinated Universal Time，标准时间） 统一两者的时区有下面几种方法： 1）共享主机的localtime 创建容器的时候..
redis缓存失效时间没到，数据莫名丢失问题排查
liu_xue_xue的专栏
09-05 1558
述：redis缓存了token，失效时间为24小时，可是每次不到多久，就提示token失效，重新登录后，没用多久，又提示token失效。查看了下缓存，发现数据全部没掉了，并且多了几个back1，back2...，怀疑原来redis未设置密码，会不会是被攻击了。3、输入monitor (也可以把监控信息输出到文件中：redis-cli monitor >/data/logs/redis/log0326.txt)修改宿主机/etc/conf/redis/redis.conf配置，加入密码。
docker容器时间和主机时间不一致（时区问题）
被拯救的威尼斯的博客
07-02 1556
Docker容器内默认使用UTC时间（标准时间），我们一般使用CST时间（东八区时间）。首先先查看容器内时间。
redis自制分布式锁
最新发布
03-29
<think>好的，我现在需要向用户介绍Redis自制的分布式锁。首先，我得回忆一下分布式锁的基本概念和Redis在这方面的应用。分布式锁主要用于在分布式系统中协调多个进程或服务对共享资源的访问，确保同一时间只有一个客户端能够执行特定操作。 用户提到的是“自制”分布式锁，可能是指不依赖现成库，自己实现。那么，我需要分步骤解释如何用Redis实现这样的锁。首先，应该提到最基础的实现方式，比如使用SET命令加锁，设置过期时间，以及使用Lua脚本保证原子性操作。 接下来，可能会想到使用SET命令的NX和PX选项，NX表示只有当键不存在时才设置，PX设置过期时间。这样可以避免死锁，因为即使客户端崩溃，锁也会自动释放。这里需要确保命令的原子性，所以必须用SET命令而非分开设置NX和过期时间。 然后是释放锁的部分。释放锁时，需要验证当前客户端是否持有锁，防止误删其他客户端的锁。这通常通过生成唯一的值（比如UUID）作为锁的值，并在删除时检查该值是否匹配。使用Lua脚本来保证原子性的检查和删除操作是关键，因为EVAL命令能确保脚本执行期间不会被其他命令打断。 但是，用户可能还会关心这种实现方式的潜在问题。比如，锁的过期时间设置是否合理，如果业务逻辑执行时间超过过期时间，会导致锁提前释放，进而引发问题。这时候可能需要引入自动续期的机制，也就是“看门狗”机制，定期延长锁的持有时间。 另外，还需要考虑Redis的高可用性。单点Redis实例存在故障风险，所以可能需要使用Redis集群或者RedLock算法来增强可靠性。不过RedLock也有其争议，需要权衡利弊。 还有，处理网络延迟和时钟漂移的问题。比如，客户端A获取锁后发生长时间GC停顿，导致锁过期，客户端B获取锁，之后A恢复并释放了B的锁。因此，唯一标识符和原子释放非常重要。 可能的步骤总结： 1. 使用SET NX PX命令获取锁，设置唯一值。 2. 执行操作。 3. 使用Lua脚本检查值并删除键来释放锁。 4. 处理锁续期和超时问题。 5. 考虑集群环境下的可靠性。 需要确保每个步骤的细节准确，比如Lua脚本的正确写法，如何生成唯一值，以及如何处理异常情况。同时，指出自制锁的局限性，比如不如官方实现的Redisson完善，但在简单场景下可用。 可能还需要比较其他实现方式，比如基于Zookeeper的分布式锁，但用户问的是Redis，所以重点在Redis方案。 最后，要结构清晰地分点说明，确保用户能一步步理解实现过程、关键点和注意事项，同时提醒潜在问题和改进方向。</think>以下是对Redis自制分布式锁的逐步介绍： --- ### 一、分布式锁的核心需求 在分布式系统中，多个服务实例需协调对共享资源的访问。分布式锁需满足： 1. **互斥性**：同一时刻仅一个客户端持有锁 2. **防死锁**：持有锁的客户端崩溃后，锁能自动释放 3. **安全性**：只能由锁的持有者释放锁 4. **容错性**：Redis节点故障时仍能正常运作（需集群方案） --- ### 二、基础实现方案 #### 步骤1：获取锁 使用Redis的`SET`命令实现原子性加锁： ```lua SET lock_key $unique_value NX PX 30000 ``` - **NX**：仅当`lock_key`不存在时设置 - **PX 30000**：设置30秒过期时间 - `$unique_value`：唯一标识（如UUID），用于安全释放 #### 步骤2：释放锁 通过Lua脚本保证原子性检查与删除： ```lua if redis.call("GET", KEYS[1]) == ARGV[1] then return redis.call("DEL", KEYS[1]) else return 0 end ``` - 用`EVAL`执行脚本，确保操作原子性 - 验证`unique_value`匹配后才删除锁 --- ### 三、关键问题与优化 #### 1. 锁续期（Watchdog机制） - **问题**：业务操作超时导致锁提前过期 - **方案**：后台线程定期续期（如每10秒延长过期时间） #### 2. 集群环境下的可靠性 - **单点故障风险**：单Redis节点宕机会导致锁失效 - **RedLock算法**（争议方案）： - 向多个独立节点申请锁 - 半数以上节点获取成功才算加锁成功 - 需权衡性能与复杂性 #### 3. 网络延迟与时钟问题 - 客户端因GC停顿导致锁过期后误删其他锁 - **防御措施**：严格使用唯一标识符验证锁归属 --- ### 四、代码示例（Python伪代码） ```python import redis import uuid client = redis.Redis() lock_key = "resource_lock" unique_id = str(uuid.uuid4()) # 尝试加锁 success = client.set(lock_key, unique_id, nx=True, px=30000) if not success: raise Exception("获取锁失败") try: # 执行业务逻辑 do_something() finally: # 释放锁 script = """ if redis.call("GET", KEYS[1]) == ARGV[1] then return redis.call("DEL", KEYS[1]) else return 0 end """ client.eval(script, 1, lock_key, unique_id) ``` --- ### 五、局限性 1. **锁续期实现复杂**：需自行管理后台线程 2. **时钟同步问题**：多节点环境下时钟漂移可能影响RedLock 3. **性能损耗**：相比原生支持的分布式锁库（如Redisson）效率较低 --- ### 六、适用场景 - 对一致性要求**不是极端严格**的场景 - 短期任务且能预估最大执行时间 - 无现成分布式锁中间件可用时的临时方案 --- ### 七、推荐改进方向 1. 使用**Redisson**等成熟库（支持自动续期、多种锁类型） 2. 结合ZooKeeper实现更严格的锁（但性能较低） 3. 若业务允许，考虑采用无锁设计（如CAS操作）
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值