Broker主从同步机制概述及名词解释
主从同步概述
Broker有两种角色Master和Slave.Master主要用于处理生产者、消费者的请求和存储数据。Slave从Master同步所有数据到本地,具体作用体现在两个方面。
第一,Broker服务高可用。一般生产环境会部署两个主Broker节点和两个从Broker节点(也叫2m2s),一个Master宕机后,另一个Master可以接管工作;如果两个Master都宕机,消费者可以通过连接Slave继续消费。这样可以保证服务的高可用
第二,提高服务性能。如果消费从Master Broker拉取消息时,发现拉取消息的offset和commitLog的物理offset相差太多,会转向Slave拉取消息,这样可以减轻Master的压力,从而提高性能Broker同步数据的方式有两种:同步复制、异步复制。
同步复制
指客户端发送消息到Master,Master将消息同步复制到Slave的过程,可以通过设置参数brokerRole=BrokerRole.SYNC_MASTER来实现。这种消息配置的可靠性很强,但是效率比较低,适用于金融、在线教育等对消息有强可靠需求的场景
异步复制
指客户端发送消息到Master,再由异步线程HAService异步同步到Slave的过程,可以通过设置参数brokerRole=BrokerRole.ASYNC_MASTER来实现。这种消息配置的效率非常高,可靠性比同步复制差,适用于大部分业务场景
Broker主从同步的逻辑
通过SlaveSynchronize.syncAll()方法来实现的。该方法在BrokerController.start()方法中被调用,每隔60s同步一次,并且
同步周期不能修改,该实例在BrokerController的构造方法中被初始化
消息数据是生产者发送的消息,保存在CommitLog中,由HAService服务实时同步到SlaveBroker中,所有实现类都org.apache.rocketmq.store.ha包下