apache kafka系列之replication设计机制

概览:

其中一个broker被选举作为整个集群控制器，他将负责几个方面工作：

1.管理或领导分区变化.

2.create topic,delete topic

3.replicas(执行复制计划，复制partition)

集群控制器做出决定以后，操作信息或状态将永久注册并存储在zookeeper上，并且也可以通过RPC方式发送新的决定操作broker。控制器发布的决定来源真实，他将用于client请求路由和broker的重启或恢复状态。

如果有一个新的broker加入或启动。controller会通过RPC调用发出新的决定。

潜在的优点：

1.当leader发生变化时，更容易集中到一个地方做调试(排除故障)。

2.当leader发生变化时，ZK可以把读取/写状态信息成批广播到其他broker，因此当leader failover的时候会减少broker之间恢复的延迟时间。

3.需要更少的监听器。

4.使用更高效的RPC通信方式，代替在zookeeper中队列实现方式。

潜在的缺点：

需要考虑controller failover

zookeeper中路径列表说明

1.Controller path:存储当前controller信息.

/controller --> {brokerid} (ephemeral; created by controller)

2.Broker path:存储当前所有活着的brokers信息。

/brokers/ids/[broker_id] --> host:port (ephemeral; created by admin)

3.存储一个主题的所有分区副本任务。对于每一个副本，我们存储的副本指派一个broker ID。第一个副本是首选的复制品。注意，对于一个给定的分区，在一个broker上有至多一个副本。因此，broker ID可以作副本标识.

/brokers/topics/[topic] --> {part1: [broker1, broker2], part2: [broker2, broker3] ...}  (created by admin)

4.LeaderAndISR path:存储一个分区leader and ISR

/brokers/topics/[topic]/[partition_id]/leaderAndISR --> {leader_epoc: epoc, leader: broker_id, ISR: {broker1, broker2}} 此路径被controller或leader修改，当前leader只修改ISR一部分信息。当更新path需要使用条件同步到zookeeper上。

5.分区分配path：当我们重新分配某些分区到不同的brokers时，此path会被使用。对于每个分区重新分配，他将会存储一个新副本列表和他们相应的brokers信息。

每当某个管理员操作如下命令成功后，且这个分区迁移到目标broker成功后，源broker上的分区会自动删除。

/admin/partitions_add/[topic]/[partition_id] --> {broker_id …} (created by admin) /admin/partitions_remove/[topic]/[partition_id] (created by admin)

kafka中专有词语解释：

AR(assign replicas):分配副本  ISR(in-sync replicas)：在同步中的副本

Replica {                                // 一个分区副本信息   broker_id               : int   partition               : Partition    //分区信息   log                     : Log          //本地日志与副本关联信息   hw                      : long         //最后被commit的message的offset信息   leo                     : long         // 日志结尾offset   isLeader                : Boolean      //是否为该副本的leader }    Partition {                              //topic名称   topic                   : string   partition_id            : int   leader                  : Replica      // 这个分区的leader副本   ISR                     : Set[Replica] // 正在同步中的副本集合   AR                      : Set[Replica] // 这个分区的所有副本分配集合   LeaderAndISRVersionInZK : long         // version id of the LeaderAndISR path; used for conditionally update the LeaderAndISR path in ZK }    LeaderAndISRRequest {   request_type_id         : int16 // 当前request的版本   version_id              : int16 // request的版本号   client_id               : int32 // this can be the broker id of the controller   ack_timeout             : int32 // the time in ms to wait for a response   isInit                  : byte  // whether this is the first command issued by a controller   leaderAndISRMap         : Map[(topic: String, partitionId: int32) => LeaderAndISR) // a map of LeaderAndISR }    LeaderAndISR {   leader                  : int32          // leader的broker编号   leaderEpoc              : int32          // leader epoc, incremented on each leadership change   ISR                     : Set[int32]     // 所有在ISR复制副本的broker集合   zkVersion               : int64          // version of the LeaderAndISR path in ZK }    LeaderAndISRResponse {   version_id              : int16 // 当前request的版本   responseMap             : Map[(topic: String, partitionId: int32) => int16) // error code表 }    StopReplicaRequest {   request_type_id         : int16 // request id   version_id              : int16 // 当前request的版本   client_id               : int32 // this can be the broker id of the controller   ack_timeout             : int32 // ack响应时间，单位为毫秒   stopReplicaSet          : Set[(topic: String, partitionId: int)) // 需要停止的分区集合 }    StopReplicaResponse {   version_id              : int16 // 当前request的版本   responseMap             : Map[(topic: String, partitionId: int32) => int16) //error code表 }

 请注明转载自: http://blog.youkuaiyun.com/lizhitao/article/details/24491551

后续.....