kafka replication tools

最新推荐文章于 2020-05-31 19:20:46 发布
原创 最新推荐文章于 2020-05-31 19:20:46 发布 · 117 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#kafka #replication

本文介绍了Kafka中使用replicationtool进行副本选举的过程，包括如何指定首选副本，并详细解释了当首选副本不在ISR中时的处理方式。同时，提供了检查所有分区是否已成功迁移到首选副本的方法。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

kafka工具

 

replication tool工作步骤（异步过程，执行完1就结束）：

1.更新zk上的/admin/preferred_replica_election节点，内容为副本的几个位置（不包含已经奔溃的leader）

 

2.controller中的zk的listener读取topic partition的副本的几个位置

 

3.controller获取每个topic partition的副本的几个replica中的第一个，作为referred replica；

  如果这个preferred replica不是leader且在isr中，则controller发出request到这个preferred replica的broker，通知其作为topic partition的leader

  

  

bin/kafka-preferred-replica-election.sh --zookeeper localhost:81821/kafka-zk --path-to-json-file topicPartitionList.json

 

topicPartitionList.json格式为：

{

 "partitions":

  [

    {"topic": "topic1", "partition": "0"},

    {"topic": "topic1", "partition": "1"},

    {"topic": "topic1", "partition": "2"},

 

    {"topic": "topic2", "partition": "0"},

    {"topic": "topic2", "partition": "1"},

  ]

}

 

FAQ

What happens if the preferred replica is not in the ISR?

The controller will fail to move the leadership to the preferred replica if it is not in the ISR. This is to ensure that there is no dataloss. When the replica becomes "in-sync" with the leader, the tool can be run again to move the leader.

则移动失败，避免数据丢失

 

How to find if all the partitions have been moved to the "preferred replica" after running the tool?

ListTopicCommand is an excellent tool that provides an overview of all the topic partitions in the cluster. For each topic partition, it displays the leader, assigned replicas and current "in-sync" replica set. If the leader and the first replica in the assigned replica set are the same then the Preferred replica leader election" tool succeeded. If not, the tool failed and may have to be run again.

跟isr的第一个replica相同

Kafka replication tools
beijing20120926的专栏
12-02 1791
Replication tools Skip to end of metadata Added by Sriram Subramanian, last edited by Neha Narkhede on Sep 18, 2013  (view change) Go to start of metadata 1. Controlled Shutd
kafka Replication tools
LeoChen的专栏
01-06 1479
Pages Index Replication tools Skip to end of metadata Added by Sriram Subramanian, last edited by Neha Narkhede on Sep 18, 2013  (view change) show comment Go to
分布式流平台Kafka
智海观潮的博客
05-31 379
提到Kafka很多人的第一印象就是它是一个消息系统，但Kafka发展至今，它的定位已远不止于此，而是一个分布式流处理平台。对于一个流处理平台通常具有三个关键能力： 1.发布和订阅消息流，在这一点上它与消息队列或企业消息系统类似 2.以容错的持久化方式存储消息流 3.在消息流产生时处理它们 目前，Kafka通常应用于两大类应用： 1.构建实时的流数据管道，可靠地在系统和应用程序之间获取数据 2.构建实时流的应用程序，对数据流进行转换或响应 下面我们来一起看一下，Kafka是如何实现以上所说的功能的？ 首先了解
kafka入门介绍
qq_40367807的博客
08-29 230
作者：半兽人 链接：https://www.orchome.com/5 来源：OrcHome 著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。 Kafka作为一个分布式的流平台，这到底意味着什么？ 我们认为，一个流处理平台具有三个关键能力： 发布和订阅消息（流），在这方面，它类似于一个消息队列或企业消息系统。 以容错的方式存储消息（流）。 在消息流发生时处理它们。 什么是k...
Kafka学习之Replication tools之Preferred Replica Leader Election Tool
xcc的博客
07-04 327
原文链接：https://cwiki.apache.org/confluence/display/KAFKA/Replication+tools#Replicationtools-2.PreferredReplicaLeaderElectionTool 这工具做了啥？ 为了支持replication功能，每一个partition可以有多个replica。一个partition的replic...
kafka集群下线broker节点实践方法
TURING.DT
04-27 9305
kafka集群 broker 0（10.11.32.76    hadooptest76.bj） broker 1（10.11.32.77    hadooptest77.bj） broker 2（10.11.32.81    hadooptest81.bj） 操作任务：下线broker 2节点，确保业务不中断，数据不丢失。 一、先决条件，kafka启动必须加上JMX_PORT=
Kafka学习之Replication tools之Reassign Partitions Tool
xcc的博客
07-05 296
  原文链接：https://cwiki.apache.org/confluence/display/KAFKA/Replication+tools#Replicationtools-6.ReassignPartitionsTool 此工具能做啥? 此工具的作用跟Referred Replica Leader Election工具类似，都是为了平衡集群的负载。但工具不仅为某一个par...
Kafka日记（一）Kafka概念
从2017开始记录起的博客
03-22 413
由于工作需要研究Kafka,在网上搜索了许久，关于PHP+Kafka的使用偏向于过多重复华，在实际的使用中并没有解决的我的问题。特此记录，以供学习者少走弯路。
Kafka（一）
rocketluoqq的博客
04-01 168
开发十年，就只剩下这套架构体系了！ >>> ...
Pulsar官方文档翻译-概念和架构-基于地理位置复制（Geo Replication）
稀有气体的技术博客
11-05 1034
官网原文标题《Concepts and Architecture--Geo Replication》 翻译时间：2018-11-05 官网原文地址：http://pulsar.apache.org/docs/en/concepts-replication/ ----------------------------------------------------------------- 基...
关于Kafka Replication机制
weixin_43924166的博客
04-23 801
Replication Kafka的replication复制机制是其可靠性的保证，即为每个分区数据提供多个副本。 每个Kafka topic包含有多个分区，分区是kafka存储数据的基本单位。一个分区只能存储在同一个硬盘上。 Kafka保证每一个分区内的消息的顺序，无论这个分区是在线(available)的还是离线的(unavailable)。 每个分区拥有多个副本，其中一个副本将被指定为...
kafka 获取metadata
10-14 2072
数据   NetworkClient类，方法poll，检查metadata是否需要更新 方法： /** * Add a metadata request to the list of sends if we can make one */ private void maybeUpdateMetadata(List<NetworkSend> sends, long now) { // Beware that the
kafka 重新分配leader kafka-preferred-replica-election.sh
07-17 953
opicPartitionList.json： {"partitions":[{"topic":"topic","partition": 0},{"topic":"topic","partition": 1},{"topic":"topic","partition": 2},{"topic&quot
kafka接口协议二 详细
07-10 532
r，当leader broker处理数据有误时，有两种情况1.broker死了，2broker不在包含此partition； 所以需要循环处理过程，当返回有误，则刷新metadata，在执行   官网：   Cycle through a list of "bootstrap" kafka urls until we find one we can connect to. Fetch cluster metadata. Process fetch or produce
kafka leader balance
10-14 418
ly be a follower for all its partitions, meaning it will not be used for client reads and writes. To avoid this imbalance, Kafka has a notion of preferred replicas. If the list of replicas for a partition is 1,5,9 then node 1 is preferred as the leader to
kafka接口协议
07-10 322
which broker hosts which partitions.获得活着的broker，他们的host和port，broker包含的partition Send - Send messages to a broker  发送消息到broker Fetch - Fetch messages from a broker, one which fetches data, one which gets cluster metadata, and one which gets offset informa
kafka logManager类 kafka存储机制
08-26 301
messageSet：每个log file的管道类           base offset：在topic中的绝对offset值           offsetindex：每个log index的管道map类，存储相对offset值和文件position      按照partition分区topic，分发到各个机子上    partition上有多个log文件，每个log文件一个索引文件    log文件是实际的数据，索引文件是log文件里数据的相对偏移量和在log文件里的position
kafka tools资源
最新发布
03-18
### 关于Kafka Tools Resources List Kafka 提供了一系列工具来简化消息队列的操作和管理。这些工具通常位于 `bin` 目录下，用于完成诸如创建主题、消费消息、生产消息等功能[^2]。 以下是常见的 Kafka 工具列表及其功能： #### 1. **kafka-topics.sh** 此工具用于管理和操作 Kafka 主题（Topics）。可以用来创建、删除、描述以及修改主题。 ```bash bin/kafka-topics.sh --create --topic my-topic --partitions 3 --replication-factor 1 --zookeeper localhost:2181 ``` #### 2. **kafka-console-producer.sh** 这是一个简单的命令行工具，允许用户通过标准输入向指定的主题发送消息。 ```bash bin/kafka-console-producer.sh --broker-list node1.itcast.cn:9092 --topic test ``` 每条输入的消息都会被发送到指定的主题中[^3]。 #### 3. **kafka-console-consumer.sh** 这是另一个命令行工具，用于从指定的主题中读取消息并将其打印到标准输出。 ```bash bin/kafka-console-consumer.sh --bootstrap-server node1.itcast.cn:9092 --topic test --from-beginning ``` 上述命令会从头开始读取 `test` 主题中的所有消息。 #### 4. **kafka-configs.sh** 此工具用于管理 Kafka 的配置项，包括动态更新代理（Broker）、客户端和其他实体的配置。 ```bash bin/kafka-configs.sh --describe --entity-name broker-1 --entity-type brokers --zookeeper localhost:2181 ``` #### 5. **kafka-preferred-replica-election.sh** 当分区副本未均匀分布在 Broker 上时，可以通过此工具触发重新分配首选副本的过程。 ```bash bin/kafka-preferred-replica-election.sh --zookeeper localhost:2181 ``` #### 6. **kafka-log-dirs.sh** 此工具可以帮助管理员了解各个 Broker 中的日志目录状态，例如磁盘空间使用情况等。 ```bash bin/kafka-log-dirs.sh --describe --bootstrap-server node1.itcast.cn:9092 ``` #### 7. **kafka-acls.sh** 在启用安全模式的情况下，此工具可用于设置访问控制列表 (ACL)，从而保护 Kafka 资源的安全性。 ```bash bin/kafka-acls.sh --authorizer-properties zookeeper.connect=localhost:2181 --add --allow-principal User:Alice --operation All --topic my-topic ``` #### 8. **kafka-verifiable-producer.sh 和 kafka-verifiable-consumer.sh** 这两个工具主要用于测试目的，验证 Producer 和 Consumer 是否正常工作。 ```bash bin/kafka-verifiable-producer.sh --broker-list node1.itcast.cn:9092 --topic test ``` --- ### 总结 以上列举的是 Kafka 官方提供的一些常用工具资源，它们能够满足大多数日常运维需求。对于更复杂的场景，则可能需要借助第三方工具或自定义开发解决方案。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值