redis 超时失效key 的监听触发使用

redis自2.8.0之后版本提供Keyspace Notifications功能,允许客户订阅Pub / Sub频道,以便以某种方式接收影响Redis数据集的事件。

可能收到的事件的例子如下: 
所有影响给定键的命令。 
所有接收LPUSH操作的密钥。 
所有密钥在数据库中过期0。

因为 Redis 目前的订阅与发布功能采取的是发送即忘(fire and forget)策略, 所以如果你的程序需要可靠事件通知(reliable notification of events), 那么目前的键空间通知可能并不适合你:当订阅事件的客户端断线时, 它会丢失所有在断线期间分发给它的事件。并不能确保消息送达。未来有计划允许更可靠的事件传递,但可能这将在更一般的层面上解决,或者为Pub / Sub本身带来可靠性,或者允许Lua脚本拦截Pub / Sub消息来执行诸如推送将事件列入清单。

事件类型

对于每个修改数据库的操作,键空间通知都会发送两种不同类型的事件消息:keyspace 和 keyevent。以 keyspace 为前缀的频道被称为键空间通知(key-space notification), 而以 keyevent 为前缀的频道则被称为键事件通知(key-event notification)。

事件是用  __keyspace@DB__:KeyPattern 或者  __keyevent@DB__:OpsType 的格式来发布消息的。
DB表示在第几个库;KeyPattern则是表示需要监控的键模式(可以用通配符,如:__key*__:*);OpsType则表示操作类型。因此,如果想要订阅特殊的Key上的事件,应该是订阅keyspace。
比如说,对 0 号数据库的键 mykey 执行 DEL 命令时, 系统将分发两条消息, 相当于执行以下两个 PUBLISH 命令:
PUBLISH __keyspace@0__:sampleKey del
PUBLISH __keyevent@0__:del sampleKey
订阅第一个频道 __keyspace@0__:mykey 可以接收 0 号数据库中所有修改键 mykey 的事件, 而订阅第二个频道 __keyevent@0__:del 
则可以接收 0 号数据库中所有执行 del 命令的键。

开启配置

开启配置

键空间通知通常是不启用的,因为这个过程会产生额外消耗。所以在使用该特性之前,请确认一定是要用这个特性的,然后修改配置文件,或使用config配置。相关配置项如下:

字符发送通知
K键空间通知,所有通知以 keyspace@ 为前缀,针对Key
E键事件通知,所有通知以 keyevent@ 为前缀,针对event
gDEL 、 EXPIRE 、 RENAME 等类型无关的通用命令的通知
$字符串命令的通知
l列表命令的通知
s集合命令的通知
h哈希命令的通知
z有序集合命令的通知
x过期事件:每当有过期键被删除时发送
e驱逐(evict)事件:每当有键因为 maxmemory 政策而被删除时发送
A参数 g$lshzxe 的别名,相当于是All

 

 

 

 

 

 

 

 

 

 

 

输入的参数中至少要有一个 K 或者 E , 否则的话, 不管其余的参数是什么, 都不会有任何通知被分发。上表中斜体的部分为通用的操作或者事件,而黑体则表示特定数据类型的操作。配置文件中修改 notify-keyspace-events “Kx”,注意:这个双引号是一定要的,否则配置不成功,启动也不报错。例如,“Kx”表示想监控某个Key的失效事件。

也可以通过config配置:CONFIG set notify-keyspace-events Ex (但非持久化)

Redis 使用以下两种方式删除过期的键:
1.当一个键被访问时,程序会对这个键进行检查,如果键已经过期,那么该键将被删除。
2.底层系统会在后台查找并删除那些过期的键,从而处理那些已经过期、但是不会被访问到的键。
当过期键被以上两个程序的任意一个发现、 并且将键从数据库中删除时, Redis 会产生一个 expired 通知。
Redis 并不保证生存时间(TTL)变为 0 的键会立即被删除: 如果程序没有访问这个过期键, 或者带有生存时间的键非常多的话,
那么在键的生存时间变为 0 , 直到键真正被删除这中间,
可能会有一段比较显著的时间间隔。 因此, Redis 产生 expired 通知的时间为过期键被删除的时候, 而不是键的生存时间变为
0 的时候。

由于通知收到的是redis key,value已经过期,无法收到,所以需要在key上标记业务数据。

 

 

redis 超时失效key 的监听触发

1. 事件通过 Redis 的订阅与发布功能(pub/sub)来进行分发,故需要订阅 __keyevent@0__:expired 通道

0表示db0 根据自己的dbindex选择合适的数字

2. 修改 redis.conf 文件 

修改 notify-keyspace-events Ex 

复制代码
复制代码
# K    键空间通知,以__keyspace@<db>__为前缀
# E    键事件通知,以__keysevent@<db>__为前缀
# g    del , expipre , rename 等类型无关的通用命令的通知, ...
# $    String命令
# l    List命令
# s    Set命令
# h    Hash命令
# z    有序集合命令
# x    过期事件(每次key过期时生成)
# e    驱逐事件(当key在内存满了被清除时生成)
# A    g$lshzxe的别名,因此”AKE”意味着所有的事件
复制代码
复制代码

 

3. 重启redis , 即可测试失效事件的触发, 监听获取的值为 key

<java>

4.  首先需要一个消息监听器类  RedisSubListener

RedisSubListener.java
package cn.maitian.maimai.cache.message.sub;

import cn.maitian.bss.duty.privilege.utils.SpringContextHolder;
import cn.maitian.maimai.cache.client.MaimaiJedis;
import cn.maitian.maimai.cache.keys.RedisKeys;
import cn.maitian.maimai.cache.model.RedisKeyspaceNotifiRecord;
import cn.maitian.maimai.cache.service.RedisKeyspaceNotifiRecordIService;
import cn.maitian.maimai.core.exception.AppSysException;
import cn.maitian.maimai.core.util.AppStringUtils;
import cn.maitian.maimai.schedule.utils.JobUtils;
import com.alibaba.fastjson.JSONObject;
import org.apache.log4j.Logger;
import redis.clients.jedis.JedisPubSub;

import java.util.Date;

/**
 * Redis 发布订阅模型(Pub/Sub)的订阅服务监听器
 *
 * @author 
 * @version V1.0
 * @company 
 * @date 
 */
public class RedisSubListener extends JedisPubSub {

    /**
     * 日志
     */
    protected final Logger logger = Logger.getLogger(getClass());

    private RedisKeyspaceNotifiRecordIService redisKeyspaceNotifiRecordIService;

    /**
     *
     * @Title: onMessage
     * @Description: 取得订阅的消息后的处理
     * @param channel
     *            频道
     * @param message
     *            消息内容
     *
     * @author 
     * @date 
     */
    @Override
    public void onMessage(String channel, String message) {
        logger.info("channel{" + channel + "}message{" + message + "}");
    }

    /**
     *
     * @Title: onPMessage
     * @Description: 取得按表达式的方式订阅的消息后的处理
     *
     * @author 
     * @date 
     */
    public void onPMessage(String pattern, String channel, String message) {
        logger.info("Redis订阅监听超时通知开始pattern{" + pattern + "}channel{" + channel + "}message{" + message + "}");
        long starTime = System.currentTimeMillis();
        if (AppStringUtils.isEmpty(message)) {
            logger.info("Redis订阅监听超时通知,message为空");
            return;
        }
        RedisKeyspaceNotifiRecord record = null;
        String keyId;
        try {
            if (message.startsWith(RedisKeys.REDIS_LOCK_KEY_STRING)) {
                logger.info("Redis订阅监听超时通知,此key值不需要进行订阅处理");
                return;
            }
            keyId = message.substring(message.lastIndexOf(":") + 1);
            long result = MaimaiJedis.setnx(RedisKeys.REDIS_LOCK_KEY_STRING + keyId,RedisKeys.REDIS_LOCK_KEY_STRING + keyId);
            if (result==0) {
                logger.info("Redis订阅监听超时通知,此key已被设置,请勿重复设置");
                return;
            }
            record = redisKeyspaceNotifiRecordIService.findById(keyId);
            if (record == null) {
//                throw new AppSysException("Redis订阅监听超时通知,找不到记录id{" + keyId + "}");
                logger.error("Redis订阅监听超时通知,找不到记录id{" + keyId + "}");
                return;
            }
            record.setBeginTime(new Date());
            if (AppStringUtils.isEmpty(record.getServiceClass())) {
                throw new AppSysException("Redis订阅监听超时通知,RedisKeyspaceNotifiRecord中必须包含ServiceClass");
            }
            Object object = SpringContextHolder.getBean(Class.forName(record.getServiceClass()));
            String serviceMethod = record.getServiceMethod();
            Object[] params;
            if (AppStringUtils.isEmpty(record.getServiceParams())) {
                params = new Object[] {};
            } else {
                params = JSONObject.parseArray(record.getServiceParams()).toArray();
            }
            if (object != null && !AppStringUtils.isEmpty(serviceMethod)) {
                JobUtils.invokeMethod(object, serviceMethod, params);
                record.setStatus(RedisKeyspaceNotifiRecord.STATUS_SUCCESS_EXECUTE);// 执行成功
            }
        } catch (AppSysException e) {
            if (record != null) {
                record.setStatus(RedisKeyspaceNotifiRecord.STATUS_FAIL_EXECUTE);// 执行失败
            }
            e.printStackTrace();
            logger.info("Redis订阅监听超时通知,出现异常{" + e.getCode() + "}", e);
        } catch (Exception e) {
            if (record != null) {
                record.setStatus(RedisKeyspaceNotifiRecord.STATUS_FAIL_EXECUTE);// 执行失败
            }
            e.printStackTrace();
            logger.info("Redis订阅监听超时通知,出现异常", e);
        } finally {
            if (record != null) {
                record.setEndTime(new Date());
                redisKeyspaceNotifiRecordIService.saveOrUpdate(record);
            }
        }
        long endTime = new Date().getTime();
        logger.info("Redis订阅监听超时通知完成pattern{" + pattern + "}channel{" + channel + "}message{" + message + "}共耗时{"
                + (endTime - starTime) / 1000 + "}秒");
    }

    /**
     * @param redisKeyspaceNotifiRecordIService
     *            the redisKeyspaceNotifiRecordIService to set
     */
    public void setRedisKeyspaceNotifiRecordIService(
            RedisKeyspaceNotifiRecordIService redisKeyspaceNotifiRecordIService) {
        this.redisKeyspaceNotifiRecordIService = redisKeyspaceNotifiRecordIService;
    }

}

5.Redis订阅指定的频道(此类用于订阅Redis的键值超时事件)
RedisKeySpaceNotification.java
package cn.maitian.maimai.cache.message.sub;

import cn.maitian.maimai.cache.client.MaimaiJedis;
import org.apache.log4j.Logger;
import org.springframework.beans.factory.DisposableBean;
import org.springframework.beans.factory.InitializingBean;
import redis.clients.jedis.Jedis;
import redis.clients.jedis.JedisPool;

/**
 * Redis订阅指定的频道(此类用于订阅Redis的键值超时事件)
 * 
 * @author 
 * @version V1.0
 * @company 
 * @date 
 */
public class RedisKeySpaceNotification implements InitializingBean, DisposableBean {

    /**
     * 是否开启Redis键值超时通知服务(默认打开)
     */
    private static boolean isRedisActiveKeySpaceNotification = true;

    /**
     * 日志
     */
    protected final Logger logger = Logger.getLogger(getClass());

    private RedisSubListener redisSubListener;

    @Override
    public void destroy() throws Exception {
        // 销毁
    }

    @Override
    public void afterPropertiesSet() throws Exception {
        if (isRedisActiveKeySpaceNotification) {
            logger.error("Redis订阅的键值超时事件已启动-----------------------------------");
            JedisPool jedisPool = MaimaiJedis.getMaiMaiJedisPool();
            final Jedis jedis = jedisPool.getResource();
            new Thread(new Runnable() {
                @Override
                public void run() {
                    jedis.psubscribe(redisSubListener, "__keyevent@*__:expired");
                }
            }).start();
        }
    }

    /**
     * @param redisSubListener
     *            the redisSubListener to set
     */
    public void setRedisSubListener(RedisSubListener redisSubListener) {
        this.redisSubListener = redisSubListener;
    }
}

 

 

转载于:https://www.cnblogs.com/pypua/p/11040896.html

<think>我们正在讨论Redis的键过期事件监听配置。用户希望当Redis中的某个键过期时能够触发一个事件,以便执行特定的操作。这通常用于实现缓存失效后的回调、清理资源等场景。 Redis提供了键空间通知(Keyspace Notifications)功能,允许客户端通过订阅频道来接收特定事件的通知,其中包括键过期事件。但是,这个功能默认是关闭的,需要手动配置开启。 根据引用[1],Redis内部使用事件循环(event loop)来处理I/O事件,这包括处理客户端的连接和请求。键空间通知也是基于这个事件循环机制实现的。 ### 配置步骤 1. **修改Redis配置**: 在redis.conf配置文件中,需要设置`notify-keyspace-events`参数来启用键空间通知。对于键过期事件,我们需要关注`Ex`事件(即过期事件)。可以设置为: ``` notify-keyspace-events Ex ``` 这里的`E`表示启用键空间事件(keyspace events),`x`表示启用过期事件(expired events)。 另外,也可以使用更宽松的设置,例如: ``` notify-keyspace-events A ``` 这里的`A`表示所有事件(包括键空间事件和键事件),但这样会产生大量事件,可能会影响性能,所以通常只开启需要的事件。 修改配置后需要重启Redis服务,或者通过`CONFIG SET`命令动态设置(不需要重启): ```bash CONFIG SET notify-keyspace-events Ex ``` 2. **订阅过期事件**: 客户端需要订阅特定的频道来接收过期事件。Redis会发送两种事件: - 键空间通知(keyspace notification):频道名为`__keyspace@<db>__:<key>`,事件类型为`expired`。 - 键事件通知(key-event notification):频道名为`__keyevent@<db>__:expired`,事件内容为过期的键名。 通常,我们使用键事件通知,因为我们可以直接获取到过期的键名。 例如,订阅数据库0的过期事件频道: ```bash SUBSCRIBE __keyevent@0__:expired ``` 当数据库0中有键过期时,客户端会收到消息,消息格式如下: ``` message __keyevent@0__:expired mykey # 这里mykey就是过期的键名 ``` ### 注意事项 1. **事件传递的可靠性**: Redis的键空间通知是一种尽力而为(best-effort)的通知机制。它并不保证事件一定会被送达,因为如果客户端在事件发生时没有订阅,或者订阅后断开连接,那么就会错过事件。此外,如果Redis服务器在事件发生之后、发送通知之前崩溃,那么该事件也会丢失。 2. **事件延迟**: 过期事件是在键被删除时触发的。Redis有两种删除过期键的机制: - 主动删除:当访问一个键时,如果发现已过期则立即删除。 - 被动删除:由Redis后台定期随机扫描并删除过期键(默认每100毫秒一次)。 因此,即使键已经过期,事件也可能在最多100毫秒(或更多,取决于配置)后才会被触发。 3. **性能影响**: 开启键空间通知会增加Redis的CPU使用率,尤其是在有大量事件时。因此,在生产环境中应谨慎使用,并确保有足够的资源。 4. **客户端实现**: 客户端需要实现一个订阅者,持续监听事件频道。在大多数编程语言中,可以使用相应的Redis客户端库来实现。 ### 示例:使用Python监听过期事件 以下是一个使用Python的redis-py库监听过期事件的简单示例: ```python import redis # 连接到Redis r = redis.Redis(host='localhost', port=6379, db=0) # 创建订阅对象 pubsub = r.pubsub() # 订阅键事件通知频道,监听过期事件 pubsub.psubscribe('__keyevent@*__:expired') # 使用模式订阅所有数据库的过期事件 # 循环处理事件 for message in pubsub.listen(): if message['type'] == 'pmessage': # 打印过期的键 print(f"Expired key: {message['data']}") ``` ### 总结 Redis的键过期事件监听通过键空间通知机制实现,需要配置`notify-keyspace-events`参数并订阅相应频道。虽然这个功能非常有用,但需要注意其可靠性和性能影响。在实际应用中,建议结合业务场景评估是否适合使用,并考虑使用其他机制(如定时任务)作为补充。 如果您需要更可靠的事件传递,可能需要考虑其他方案,例如使用Redis的Streams或者消息队列。 §§相关问题§§ 1. 如何确保Redis键过期事件不丢失? 2. Redis键空间通知还有哪些其他类型的事件? 3. 在分布式系统中如何实现基于Redis过期事件的回调?</think>### Redis 键过期事件监听配置详解 要监听 Redis 键过期事件并执行特定操作,需通过 Redis 的**键空间通知(Keyspace Notifications)** 功能实现。以下是完整配置指南: #### 1. **核心机制:键空间通知** Redis 使用事件驱动架构监控键变化[^1],键过期事件属于特殊事件类型: - 键空间通知分为两类: - `__keyspace@<db>__`:事件类型通知(如 `expired`) - `__keyevent@<db>__`:键名通知(如 `:expired`) - 过期事件标识符:`Ex`(E 表示键事件,x 表示过期事件) #### 2. **配置步骤** ##### (1) 启用键空间通知 修改 `redis.conf` 配置文件: ```conf # 启用键过期事件通知 (Ex = 过期事件) notify-keyspace-events Ex # 可选:增加其他事件类型 # notify-keyspace-events AEx # A=所有事件, E=键事件, x=过期事件 ``` 或在运行时动态配置: ```bash redis-cli config set notify-keyspace-events Ex ``` ##### (2) 事件订阅方式 **方式一:命令行订阅(测试用)** ```bash # 订阅数据库0的所有过期事件 redis-cli --csv psubscribe '__keyevent@0__:expired' ``` **方式二:编程实现(Python示例)** ```python import redis r = redis.Redis() pubsub = r.pubsub() pubsub.psubscribe('__keyevent@*__:expired') # 监听所有DB的过期事件 for message in pubsub.listen(): if message['type'] == 'pmessage': expired_key = message['data'].decode('utf-8') print(f"Key expired: {expired_key}") # 在此执行自定义业务逻辑 ``` #### 3. **关键注意事项** 1. **事件可靠性**: - 过期事件在键被删除时触发 - Redis 定期删除过期键(默认每100ms扫描一次),事件可能有延迟 - 不保证100%送达(客户端断开时会丢失事件) 2. **内存淘汰策略影响**: 当内存不足时,根据配置的淘汰策略(如 `volatile-lru`)[^3],部分键可能被提前删除而不触发过期事件 3. **性能优化**: - 高频率过期场景下,建议使用单独的 Redis 实例处理事件通知 - 批量过期键处理可通过 `SCAN` 命令补偿可能丢失的事件 #### 4. **生产环境最佳实践** 1. **事件处理器设计**: ```python # 使用线程池处理事件 from concurrent.futures import ThreadPoolExecutor def handle_expiration(key): # 执行数据库清理、缓存更新等操作 pass with ThreadPoolExecutor(max_workers=10) as executor: for message in pubsub.listen(): if message['type'] == 'pmessage': executor.submit(handle_expiration, message['data']) ``` 2. **跨语言支持**: - Java使用 Jedis 或 Lettuce 的 `RedisPubSubListener` - Node.js:使用 `ioredis` 的 `psubscribe` 方法 3. **替代方案**: - 使用 Redis Stream 作为可靠事件队列 - 通过 `EXPIRE` + `TTL` 轮询补偿(适用于低频场景) #### 5. **典型应用场景** 1. 会话管理:用户会话过期时自动清理资源 2. 限流器:API调用配额到期自动重置 3. 缓存失效:缓存键过期时重新加载数据 4. 分布式锁:自动释放超时锁 > ⚠️ **重要提示**:键空间通知会轻微增加CPU负载,每秒过期键超1万时需进行压力测试[^1]。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值