服务发现与日志复制:构建高弹性服务集群
1. 服务复制的引入
在拥有服务发现和成员管理功能后,我们可以进一步为服务添加复制功能,从而在集群中有多个服务器时存储多份日志数据副本。复制能增强服务的容错能力,例如当某个节点的磁盘故障且数据无法恢复时,由于其他磁盘上存有副本,数据得以保全。
目前,我们先让服务器在发现彼此后直接进行复制,暂不考虑复杂的协调关系。服务发现本身并非目的,它的重要性在于触发服务中的其他流程,如复制和共识机制。当服务器发现其他服务器时,我们希望触发复制操作,因此需要一个组件来处理服务器加入或离开集群时的复制开始和结束。
2. 拉取式复制机制
我们采用拉取式复制,即复制组件从每个发现的服务器消费数据,并在本地服务器生成副本。在拉取式复制中,消费者会定期轮询数据源,检查是否有新数据可供消费;而推送式复制则是数据源主动将数据推送给副本。拉取式系统在日志和消息系统中具有灵活性,适用于不同消费方式和工作负载的客户端。
3. 复制组件的实现
在 internal/log 目录下创建 replicator.go 文件,用于实现复制代码。
package log
import (
"context"
"sync"
"go.uber.org/zap"
"google.golang.org/grpc"
api "github.com/travisjeffery/proglog/api/v1"
)
type Replicator struct {
Dial
超级会员免费看
订阅专栏 解锁全文
11万+

被折叠的 条评论
为什么被折叠?



