kafka关于副本的理解

本文介绍了副本机制在数据存储中的重要性,特别是在Kafka中。Kafka的副本分为Leader和Follower,用于提高数据可靠性。生产环境中通常配置为2个副本以平衡数据安全和资源消耗。Kafka的分区副本包括ISR(In-Sync Replicas)和OSR(Out-of-Sync Replicas)。

前言

副本机制是许多存储引擎必备的,在数据存储时候,为了保证数据的高可靠性,常常需要将主节点数据进行备份存储,即保存一份与主节点相同的数据集,一旦主节点发生宕机等故障,通过副本还能进行数据的恢复,比如我们熟悉的es,不仅有副本,还有分片;mongodb机器也是如此,通常生产环境下采用复制集

在kafka中,也同样存在副本的概念,其主要特点如下:

  1. 提高数据可靠性
  2. 默认副本 1 个,生产环境一般配置为 2 个,保证数据可靠性;太多副本会增加磁盘存储空间,增加网络上数据传输,降低效率;因此副本的数量要合理设置
  3. Kafka 中副本类型有2种,分为:Leader 和 Follower。Kafka 生产者只会把数据发往 Leader,然后 Follower 找 Leader 进行同步数据;
  4. Kafka 分区中的所有副本统称为 AR(Assigned Repllicas);AR = ISR + OSR
ISR,表示和 Leader 保持同步的 Follower 集合。如果 Follower 长时间未向 Lead
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

逆风飞翔的小叔

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值