三、Kafka副本

最新推荐文章于 2025-06-10 11:02:37 发布
原创 最新推荐文章于 2025-06-10 11:02:37 发布 · 563 阅读 · 7 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#kafka #分布式

2、创建2个分区两个副本

/usr/local/kafka/bin# ./kafka-topics.sh --bootstrap-server 192.168.58.130:9092 --create --topic atguigu2 --partitions 2 --replication-factor 2

在这里插入图片描述
3、查看topic详细信息

/usr/local/kafka/bin# ./kafka-topics.sh --bootstrap-server 192.168.58.130:9092 --describe --topic atguigu2

在这里插入图片描述

2、Follower故障处理细节

在这里插入图片描述
Leader是接收生产者的数据，会先收到数据，所有Follower中的数据都是从Leader中拉取的，由于存在时间差的问题，导致Leader中的数据要多一些，Follower中的数据要少一些。
ISR[0 1 2]:
表示三台服务器正常运行

在这里插入图片描述
LEO(Log End Offset)：每个副本的最后一个offset，LEO其实就是最新的offset+1。
HW(High Watermark)：所有副本中最小的LEO。

2.1 Follower故障

（1）Follower发生故障后会被临时剔出ISR。
（2）这个期间Leader和Follower继续接收数据，那么对应的HW和LEO就会正常的变化。
在这里插入图片描述
此时接受数据 8 9
HW=8
LWO=9+1

（3）待该Follower恢复后，Follower会读取本地磁盘记录的上次的HW，并将log文件高于HW的部分截取掉，从HW开始向Leader进行同步。

（4）等该Follower的LEO大于等于该Partition的HW，即Follower追上Leader之后，就可以重新加入ISR了。
在这里插入图片描述

2.2 Leader故障

（1）Leader发生故障之后，会从ISR中选出一个新的Leader
（2）为保证多个副本之间的数据一致性，其余的Follower会先将各自的log文件高于HW的部分截掉，然后从新的Leader同步数据。
注意：这只能保证副本之间的数据一致性，并不能保证数据不丢失或者不重复

3、分区副本分配

Kafka 设计之副本和 Leader 选举
流华追梦的专栏
03-10 1780
在 Kafka 中，副本分成两类：领导者副本（Leader Replica）和追随者副本（Follower Replica）。每个分区在创建时都要选举一个副本，称为领导者副本，其余的副本自动称为追随者副本。Kafka 的副本机制比其他分布式系统要更严格一些。在 Kafka 中，追随者副本是不对外提供服务的。这就是说，任何一个追随者副本都不能响应消费者和生产者的读写请求。所有的请求都必须由领导者副本来处理，或者说，所有的读写请求都必须发往领导者副本所在的 Broker，由该 Broker 负责处理。
Kafka 修改 Topic 的副本数和分区数
YazIdris的博客
09-23 1234
在 Kafka 中，Topic 是数据的逻辑容器，通过分区将数据进行分割和存储，并且每个分区都有一定数量的副本用于数据的冗余备份。本文将介绍如何使用 Kafka 提供的工具和 API 来修改 Topic 的副本数和分区数。因此，修改分区数需要创建一个新的 Topic，并将数据从旧的 Topic 迁移到新的 Topic。通过使用 Kafka 提供的工具和 API，我们可以方便地修改 Topic 的副本数和分区数。执行代码后，数据将从旧的 Topic 迁移到新的 Topic，并根据新的分区数进行重新分布。
kafka 副本和分片
zhaoyangjian724的专栏
12-19 1021
-bash-4.1$ ifconfig -a |grep addr; find . -name "NewProxyGather*" eth0 Link encap:Ethernet HWaddr C4:FF:1F:3C:CB:41 inet addr:20.5.101.61 Bcast:20.5.101.255 Mask:255.255.255.0 inet6 addr: fe80::c6ff:1fff:fe3c:cb41/64 Scope:Lin...
kafka日常操作（包含修改分区，副本数）
a13568hki的博客
03-23 3538
增加新服务到kafka集群是很容易的，只要为新服务分配一个独一无二的Broker ID并启动即可。但是，新的服务不会自动分配到任何数据，需要把分区数据迁移给它们，在此期间它们一直不工作，直到新的topic创建，所以，通常向集群添加机器时，你需要将一些现有的数据迁移到这些机器上。 迁移数据的过程是手动启动的，但是执行过程是完全自动化的。在kafka后台内部中，kafka将添加新的服务器，并作为正在迁移分区的follower，来完全复制该分区现有的数据。当新服务器完全复制该分区的内容并加入同步副本，成为现有副本
查看副本数
Drug discovery
07-14 8058
发现副本数为3
kafka之副本机制
变是永远不变的......
06-30 8118
Kafka允许topic的分区拥有若干副本，这个数量是可以配置的，你可以为每个topci配置副本的数量。Kafka会自动在每个个副本上备份数据，所以当一个节点down掉时数据依然是可用的。 Kafka的副本功能不是必须的，你可以配置只有一个副本，这样其实就相当于只有一份数据。 创建副本的单位是topic的分区，每个分区都有一个leader和零或多个followers.所有的读写操作都由leade
Kafka - 分区机制及副本机制
小工匠
03-06 3218
自定义策略主要是依据业务属性和特点来实现的，以下是几种比较常见的自定义策略。按消息键保存策略，键可以依据业务属性进行划分，这样就可以保障同样的业务被分配到相同的分区，由于Kafka支持单分区消息有序，因此这种策略对于同一业务可以很好地实现消息的有序性需求。按区域分区策略。
Kafka副本机制详解
技术与业务融合思维
02-19 907
在讨论具体的副本机制之前，我们先花一点时间明确一下副本的含义。我们之前谈到过，Kafka 是有主题概念的，而每个主题又进一步划分成若干个分区。副本的概念实际上是在分区层级下定义的，每个分区配置有若干个副本。
Kafka 副本的 Leader 选举流程
My_wife_QBL的博客
07-18 1003
Apache Kafka 是一个分布式流处理平台，具有高吞吐量、可扩展性和容错性。Kafka 通过分区副本机制来保证数据的可靠性和可用性。在 Kafka 中，每个分区都有一个 Leader 和若干个 Follower 副本。Leader 负责处理所有的读写请求，而 Follower 副本则从 Leader 同步数据。Leader 选举流程是 Kafka 保证高可用性的关键机制之一。本文将详细阐述 Kafka 副本的 Leader 选举流程。
Kafka 副本机制（包含AR、ISR、OSR、HW 和 LEO 介绍）
王多鱼的梦想
01-26 2439
Kafka 的副本机制是其高可用性和容错性的核心之一，它确保在发生故障时数据不会丢失，同时允许系统继续提供服务。副本机制通过将每个分区的数据复制到多个 Broker 上，保证了即使某个 Broker 宕机，数据仍然可以通过其他 Broker 访问。
Kafka 副本 Leader 故障处理机制
My_wife_QBL的博客
07-18 963
Apache Kafka 是一个高性能、分布式的消息队列系统，利用分区和副本机制来保证数据的可靠性和高可用性。每个分区有一个 Leader 副本和若干个 Follower 副本。Leader 副本负责处理所有的读写请求，而 Follower 副本则从 Leader 同步数据。当 Leader 副本出现故障时，Kafka 需要快速、有效地进行处理，以保证系统的可用性和数据的一致性。本文将详细阐述 Kafka 如何处理 Leader 副本的故障。
Kafka系列 - 09 Kafka副本|Leader选举流程|Follower故障|Leader故障
你今天真好看呀
11-29 1958
Partition为2的分区有4个副本，其中 Leader为3，假如 hadoop104 挂掉了，那么Partition为2 的Leader 就会重新选举，选举的规则为：在 ISR 中存活为前提，按照AR中排在前面的优先，即新的Leader将是1。Partition为1的分区有4个副本，其中 Leader为2，假如 hadoop103 挂掉了，那么Partition为2 的Leader 就会重新选举，选举的规则为：在 ISR 中存活为前提，按照AR中排在前面的优先，即新的Leader将是1。
Kafka 基本指令大全
qq_39751320的博客
10-31 663
注意： 下载的kafka会自带zookeeper，所以不需要在自己重新下载。 使用kafka前要先启动zookeeper，在启动kafka 启动zookeeper bin/zookeeper-server-start.sh config/zookeeper.properties 启动kafka bin/kafka-server-start.sh config/server.properties 创建topic bin/kafka-topics.sh --create --zookeeper loca
Kafka如何查看topic的数据
喝醉酒的小白
06-10 4299
Kafka如何查看topic的数据
掌握Kafka的topics：使用kafka-topics.sh的综合指南
Lion_Long的博客
11-26 7851
介绍Kafka的基本操作，包括创建topic、查看topic、查看topic属性、发送消息和消费消息等。重点介绍了kafka-topics.sh的使用方式，包括如何查看帮助、副本数量规则、创建主题、查看broker上所有的主题、查看指定主题的详细信息、修改主题信息之增加主题分区数量以及删除主题等。通过本文了解到如何使用kafka-topics.sh来有效地管理Kafka主题。
Kafka-副本数量设置
qq_40382400的博客
08-05 5025
ISR 机制的另外一个相关参数是, 可以在 broker 或者主题级别进行配置，代表 ISR 列表中至少要有几个可用副本。这里假设设置为 2，那么当可用副本数量小于该值时，就认为整个分区处于不可用状态。此时客户端再向分区写入数据时候就会抛出异常。
Kafka系列之：统计kafka集群Topic的分区数和副本数，批量增加topic副本数
zhengzaifeidelushang的博客
12-12 1255
Kafka系列之：统计kafka集群Topic的分区数和副本数，批量增加topic副本数
Kafka修改分区和副本数量
喝醉酒的小白
12-29 2201
使用命令创建一个新的Topic或查看现有Topic的详情。使用命令增加Topic的分区数。请注意，Kafka的分区数只能增加，不能减少。再次使用命令查看Topic的分区数是否已经修改。以上步骤可以帮助您修改Kafka Topic的副本数和分区数量。请根据您的实际环境替换命令中的占位符（如<topic名称><broker1>等）以执行相应的操作。
Kafka详解(一)
Tong的博客
03-02 1068
kafka知识点一览
kafka 副本数
最新发布
07-24
### Kafka 副本数的配置与作用 Kafka 的副本机制是其高可用性和数据可靠性的重要保障。副本数的配置直接影响到 Kafka 的容错能力、性能和存储成本。 #### Kafka 副本数的作用 Kafka 副本的主要作用是提高数据的可靠性。通过在多个 Broker 上存储相同的数据副本，Kafka 能够在某个 Broker 发生故障时，继续提供数据读写服务[^3]。此外，副本还支持 Kafka 的故障转移机制，确保服务的高可用性。Kafka 中的副本分为 Leader 和 Follower 两种角色，生产者只会将数据发送到 Leader 副本，而 Follower 副本则通过从 Leader 同步数据来保持一致性[^3]。 Kafka 的副本集合（AR）包括所有分配给某个分区的副本，而 AR 又分为两个子集：ISR（In-Sync Replicas）和 OSR（Out-of-Sync Replicas）。ISR 是与 Leader 保持同步的 Follower 副本集合，而 OSR 是那些由于同步延迟过多而被踢出 ISR 的副本。在 Leader 发生故障时，Kafka 会从 ISR 中选举一个新的 Leader，以确保数据的一致性。 #### Kafka 副本数的配置 在 Kafka 中，副本数是在创建 Topic 时通过 `--replication-factor` 参数进行配置的。例如，以下命令创建了一个具有 3 个分区和 3 个副本的 Topic： ```bash bin/kafka-topics.sh --zookeeper gw04:2181,gw05:2181,gw06:2181 --create --partitions 3 --replication-factor 3 --topic bms_clean_dwm_es11_yb ``` 一旦 Topic 创建完成，副本数不能直接修改，这是 Kafka 的设计决策之一，主要出于数据一致性、存储和分布式负载均衡的考虑[^2]。 在生产环境中，通常建议将副本数设置为 3，这是一个在容错能力和存储成本之间的良好平衡点。虽然 Kafka 默认的副本数为 1，但为了提高数据可靠性，生产环境一般会配置为 2 个或更多副本。然而，副本数过多会增加磁盘存储空间和网络传输的开销，从而降低系统的整体效率[^1]。 ####
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值