FASTER项目中的远程发布/订阅机制详解

FASTER项目中的远程发布/订阅机制详解

FASTER Fast persistent recoverable log and key-value store + cache, in C# and C++. 项目地址: https://gitcode.com/gh_mirrors/fa/FASTER

概述

FASTER作为微软开发的高性能键值存储系统，在其远程客户端功能中新增了发布/订阅(Pub/Sub)模式。这一功能使得多个客户端能够实时获取键值更新的通知，极大地扩展了FASTER在实时数据处理场景中的应用范围。本文将深入解析FASTER的发布/订阅机制，包括其工作原理、使用方法和实际应用场景。

发布/订阅模式简介

发布/订阅是一种消息传递模式，其中消息的发送者（发布者）不会直接将消息发送给特定的接收者（订阅者），而是将发布的消息分为不同的类别，订阅者可以接收一个或多个类别的消息而无需知道发布者的存在。

在FASTER中，发布/订阅功能分为两种主要模式：

1. 基于KV存储的发布/订阅：订阅者可以订阅存储在FASTER键值库中的键或键模式，当这些键的值通过Upsert()或RMW()操作更新时，所有订阅者会自动收到通知。

2. 独立于KV存储的发布/订阅：订阅者可以订阅不存储在FASTER键值库中的键或键模式，当有客户端调用Publish()方法发布这些键时，所有订阅者会收到通知。

核心组件与配置

订阅代理(Subscribe Broker)的创建

要使用FASTER的发布/订阅功能，首先需要创建订阅代理。代理分为两种类型：

// 创建基于KV存储的订阅代理
var kvBroker = new SubscribeKVBroker<SpanByte, SpanByte, SpanByte, 
    IKeyInputSerializer<SpanByte, SpanByte>>(new SpanByteKeySerializer(), null, true);

// 创建独立于KV存储的订阅代理
var broker = new SubscribeBroker<SpanByte, SpanByte, 
    IKeySerializer<SpanByte>>(new SpanByteKeySerializer(), null, true);

参数说明：

1. 键序列化器：用于序列化和反序列化键，特别是处理基于模式的订阅
2. 日志目录：指定FasterLog存储的位置（null表示使用默认位置）
3. 是否全新启动：true表示创建新的日志，false表示从现有状态恢复

内部机制

订阅代理内部使用FasterLog来临时存储键值对，直到它们被转发给所有订阅者。这种设计确保了即使在网络不稳定或客户端暂时不可用的情况下，消息也不会丢失。

客户端操作指南

订阅操作

客户端可以通过以下方法订阅键或键模式：

// 订阅不存储在KV中的键
clientSession.Subscribe(key);

// 订阅不存储在KV中的键模式（glob风格）
clientSession.PSubscribe(pattern);

// 订阅存储在KV中的键
clientSession.SubscribeKV(key);

// 订阅存储在KV中的键模式（glob风格）
clientSession.PSubscribeKV(pattern);

重要注意事项：

• 一个客户端会话可以同时订阅多个键或模式
• 一旦开始订阅，该会话将无法执行其他操作（如Upsert、RMW等），直到取消所有订阅

发布操作

对于独立于KV存储的发布/订阅，客户端可以主动发布消息：

// 异步发布
clientSession.Publish(key, value);

// 同步发布
clientSession.PublishNow(key, value);

对于基于KV存储的发布/订阅，任何通过Upsert()或RMW()对已订阅键的操作都会自动触发通知，无需显式调用发布方法。

高级特性与最佳实践

键模式订阅

FASTER支持glob风格的键模式匹配，例如：

• user.*：匹配所有以"user."开头的键
• *.log：匹配所有以".log"结尾的键
• user.?：匹配"user."后跟一个字符的键

这种模式匹配能力使得订阅者可以灵活地接收一类相关键的更新通知。

性能考量

1. 同步vs异步发布：PublishNow()会阻塞直到所有订阅者确认接收，而Publish()是非阻塞的。根据应用场景选择合适的发布方式。

2. 批量处理：FASTER内部会对通知进行批量处理，减少网络开销。

3. 资源管理：大量订阅会占用服务器资源，需要合理设计订阅策略。

实际应用场景

1. 实时数据监控：多个监控客户端可以订阅特定指标的键，实时获取数据更新。

2. 分布式缓存同步：当缓存值更新时，自动通知所有相关客户端使本地缓存失效。

3. 事件驱动架构：作为轻量级的事件总线，连接微服务架构中的各个组件。

4. 配置中心：应用可以订阅配置键，在配置变更时自动接收新值。

总结

FASTER的远程发布/订阅功能为分布式系统提供了强大的实时数据同步能力。通过灵活的键和键模式订阅机制，开发者可以构建高效、响应迅速的应用系统。无论是基于KV存储的自动通知，还是独立的消息发布，FASTER都提供了简单而强大的API接口。理解并合理运用这一功能，可以显著提升分布式应用的实时性和一致性。

FASTER Fast persistent recoverable log and key-value store + cache, in C# and C++. 项目地址: https://gitcode.com/gh_mirrors/fa/FASTER