Kafka的Controller

最新推荐文章于 2024-06-29 21:54:10 发布

quick刀斩乱麻

最新推荐文章于 2024-06-29 21:54:10 发布

阅读量1.2k

点赞数

分类专栏：计算与存储引擎文章标签：数据库开发 dba kafka

本文链接：https://blog.youkuaiyun.com/qq_34276652/article/details/121406534

版权

计算与存储引擎专栏收录该内容

15 篇文章

订阅专栏

选举

controller的选举依赖于ZK，在Kafka集群启动的时候，会在ZK中创建一个临时节点/controller，每个broker启动时(broker 启动过程中会启动 controller 服务，其中涉及监听 ZK节点/controller的数据变化和选举逻辑等)，都会先去访问ZK中的这个节点；如果不存在broker就会去创建这个节点，先到先得成为controller。

[zk: localhost:2181(CONNECTED) 3] get /controller
{"version":1,"brokerid":0,"timestamp":"1608173427409"}

功能

监听分区相关的变化

为ZK中的/admin/reassign_partitions节点注册监听器Handler来处理分区reassignment
为/isr_change_notification节点注册Handler来处理ISR副本集合的变更

监听主题相关的变化

为/brokers/topics节点注册Handler来处理主题的增减
为/admin/delete_topics节点注册Handler来处理主题的删除动作

监听Broker的变化

为/brokers/ids节点注册Handler来处理broker的增减

从ZK中获取broker、topic、partition相关的元数据信息

为/brokers/topics/<topic>节点注册Handler来处理topic中分区分配的变化

启动并管理分区状态机和副本状态机

更新集群的元数据信息,并同步给其它的Broker

Reference

Kafka控制器选取原理

Kafka的Controller和Leader选举

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

quick刀斩乱麻

关注关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

Kafka实践（八）：Kafka的控制器controller

叶子叶来

10-25

6345

控制器组件（Controller），是 Apache Kafka 的核心组件。它的主要作用是在 Apache ZooKeeper 的帮助下管理和协调整个 Kafka 集群。集群中任意一台 Broker 都能充当控制器的角色，但是，在运行过程中，只能有一个 Broker 成为控制器，行使其管理和协调的职责。换句话说，每个正常运转的 Kafka 集群，在任意时刻都有且只有一个控制器。官网上有...

【Kafka】Kafka 的 Broker 与 KafkaController 介绍

九师兄

03-17

1581

参与评论您还未登录，请先登录后发表或查看评论

Kafka | 你一定不能错过的Kafka控制器

sinat_27143551的博客

11-10

700

今天我要和你分享的主题是：Kafka 中的控制器组件。控制器组件（Controller），是 Apache Kafka 的核心组件。它的主要作用是在 Apache Zoo...

Kafka controller重设计

weixin_33775572的博客

06-10

178

　　本文主要参考社区0.11版本Controller的重设计方案，试图给大家梳理一下Kafka controller这个组件在设计上的一些重要思考。众所周知，Kafka中有个关键组件叫controller，负责管理和协调Kafka集群。网上关于controller的源码分析也有很多，本文就不再大段地列出代码重复做这件事情了。实际上，对于controller的代码我一直觉得写的非常混乱，各种调用关系...

Kafka之Controller(Broker的领导者)

cainiao1412的博客

06-27

2307

在Kafka集群中，某个Broker将被选举出来担任一种特殊的角色，其用于管理和协调Kafka集群，即管理集群中的所有分区的状态并执行相应的管理操作。每个Kafka集群任意时刻都只能有一个Controller。当集群启动时，所有Broker都参与Controller的竞选，最终有一个胜出，一旦Controller在某个时刻崩溃，集群中的其他的Broker会收到通知，然后开启新一轮的Controller选举，新选举出来的Controller将承担起之前Controller的所有工作。Controller维护的

kafka的controller的解析

jwcjlu的专栏

06-18

754

文章目录kafka的controller的解析controller是什么controller的选主过程ControllerEventManager的分析 kafka的controller的解析在一个kafka集群中，增加或删除一个服务节点、一个topic，当一个主题的增加一个分区的时候，kafka是怎样管理的呢?今天我们将分析kafka的一个核心组件controller controller是什么 Controller Broker ( KafkaController ) 是一种 Kafka 服务，它运行

KAFKA 海量吞吐低延迟技术解密：KafkaController

热门推荐

个人技术博客

03-12

1万+

1、导读 KAFKA是基于Scala语言开发的一个多分区、多副本且基于ZooKeeper协调的分布式消息系统，它以高吞吐、可持久化、可水平扩展、支持流数据处理等多种特性而被广泛使用，越来越多的开源分布式处理系统如Cloudera、Storm、Spark、Flink等都支持与KAFKA集成。本文将基于KAFKAv1.1.0版本源码，探讨KafkaController的启动流程、选举流程、脑裂问题和事件队列模型。笔者水平有限，若有不当之处，敬请指正。 2、Controller...

KafkaController机制（十二）：KafkaController初始化与故障转移

lianggx3的博客

09-26

1910

在kakfa的集群中，只有一个Controller能够成为Leader管理整个集群，而其他未成为ControllerLeader的Broker也会创建一个KafkaController对象，他们唯一能做的事情就是当leader发生故障的时候竞争成为新的Controller。 KafkaController的启动和故障转移的过程与ZookeeperLeaderElector有着密切的关系，Zooke...

Kafka Controller模块（三）：ControllerEventManager 处理事件

lianggx3的博客

09-27

677

Controller 端有多个线程向事件队列写入不同种类的事件，比如，ZooKeeper 端注册的 Watcher 线程、KafkaRequestHandler 线程、Kafka 定时任务线程。在事件队列的另一端，只有一个名为 ControllerEventThread 的线程专门负责“消费”或处理队列中的事件。这就是所谓的单线程事件队列模型。 ControllerEventProcessor：Controller 端的事件处理器接口。 ControllerEvent：Controlle...

Kafka源码分析（二五）——Broker：集群管理——KafkaController

smart_an的专栏

06-12

726

本章，我对Kafka的Broker集群的选举流程进行了讲解，Kafka Server服务启动后，每个Broker内部都包含一个KafkaController组件，选举流程的本质就是通过该组件往Zookeeper写入节点，首先写入成功的就是Leader，即Controller。Controller负责管理整个Broker集群，包含Broker的上下线感知，分区副本的分配、选举，集群元数据的通知更新等等。下一章，我就来讲解。

Kafka——Controller设计详解

吴声子夜歌的博客

08-16

1471

当创建topic时，controller负责创建分区对象，它首先会短暂地将所有分区状态设置为NonExistent,之后马上读取ZooKeeper中（严格来说是从controller的上下文信息中读取，关于controller的上下文信息稍后会详细讨论)的副本分配方案，然后令分区状态进入NewPartition。下图展示了controller的架构。分区重分配操作通常都是由Kafka集群的管理员发起的，旨在对topic的所有分区重新分配副本所在broker的位置，以期望实现更均匀的分配效果。

Kafka的控制器controller详解

Aeroever的博客

04-25

589

控制器组件（Controller），是ApacheKafka 的核心组件。它的主要作用是在 Apache ZooKeeper 的帮助下管理和协调整个 Kafka 集群。集群中任意一台 Broker 都能充当控制器的角色，但是，在运行过程中，只能有一个 Broker 成为控制器，行使其管理和协调的职责。换句话说，每个正常运转的 Kafka 集群，在任意时刻都有且只有一个控制器。官网上有个名为 activeController 的 JMX 指标，可以帮助我们实时监控控制器的存活状态。

Kafka Controller(状态管理)

Code

03-08

640

Controller用来协调和管理Kafka集群，在一个Kafka集群中，只有一个broker可以当选Controller，当Controller在的broker宕机后，其他Broker可以竞争当选Controller。状态管理 Controller被用在状态管理，主要用来管理每台broker上的分区副本和每台broker上分区的leader副本信息。上述两种状态可以成为副本状态和分区状态。为了...

Kafka Controller

Code

03-08

338

Kafka除了状态管理以外，还主要有以下功能职责：更新集群元数据信息创建Topic 删除Topic 分区重分配 preferred leader副本选举 Topic分区扩展 Broker加入集群 Broker崩溃受控关闭 controller leader选举职责功能更新集群元数据信息 Client可以从任何一台broker上获取集群完整的元数据信息，这就需要controller在集...

Kafka 控制器（controller）

weixin_47467016的博客

11-21

586

Kafka 控制器（controller）

Kafka 控制器controller

最新发布

m0_47743175的博客

06-29

171

Kafka 控制器controller

Kafka中的Controller（控制器）节点

欢迎来到李奇峰的数据世界

09-08

2052

文章目录导语Controller（控制器）知识点什么是ControllerController选举过程元数据内容Controller主要作用：故障转移脑裂问题导语在kafka暴露公网的过程中，遇到了一些例如元数据无法获取、生产者无法正常发送数据等问题在不断查找资料的过程中，详细深入了解了kafka的网络、数据发送过程、controller、leader等概念，并合理应用以上知识点顺利将kafka进行公网暴露。 Controller（控制器）知识点在前期的公网暴露测试过程中，只是随机将kafka

跟我学Kafka之Controller控制器详解（一）

weixin_34327761的博客

02-21

359

我们的kafka源码分享已经进行过很多期了，主要的内容也都分享的差不多了，那么那么在今后的分享中，主要集中在kafka性能优化和使用 Kafka集群中的其中一个Broker会被选举为Controller，主要负责Partition管理和副本状态管理，也会执行类似于重分配Partition之类的管理任务。如...

Kafka Controller介绍

大树叶技术专栏

11-04

848

Kafka Controller选举的基本原理整个选举过程是通过zk上的一个临时节点来实现的：/controller节点，其data结构为：核心信息就是记录当前的controller的brokerId。 "version" -> 1, "brokerid" -> brokerId, "timestamp" -> timestamp 当controller挂了，其它所...

kafka controller的作用

07-20

Kafka Controller 是 Kafka 集群中的一个特殊角色，它具有以下主要作用： 1. 集群管理：Kafka Controller 负责管理整个 Kafka 集群的状态和元数据信息。它负责监控和维护集群中的 Broker、Topic、分区等信息，并确保集群的正常运行。如果有新的 Broker 加入或退出集群，Controller 将负责处理相关的操作和任务。 2. 分区分配：当创建新的 Topic 或者增加了 Topic 的分区数时，Kafka Controller 负责计算和执行分区的分配方案。它会根据配置的分区分配策略（如默认的 Range、RoundRobin 或自定义策略），将分区均匀地分配给各个 Broker 和消费者组，以实现负载均衡和高可用性。 3. Leader 选举：每个分区在 Kafka 集群中都有一个 Leader Broker，负责处理该分区的所有读写请求。当 Leader Broker 发生故障或不可用时，Controller 将负责进行 Leader 选举，选择新的 Leader Broker 来接管该分区的工作。通过 Leader 选举，可以保证分区在发生故障时仍然能够继续提供服务。 4. 副本管理：Kafka 使用副本来提供数据冗余和故障容错能力。Controller 负责管理副本的创建、同步和分布等操作。它会监控副本的状态，并在副本发生故障或不可用时进行恢复和修复，以保证数据的可靠性和一致性。总的来说，Kafka Controller 是 Kafka 集群中的核心组件之一，负责管理和维护集群的状态、元数据和各种任务。它通过协调和执行各种操作，确保 Kafka 集群的正常运行、数据的可靠性和高可用性。