Kafka的broker-list,bootstrap-server以及zookeeper的关系

最新推荐文章于 2025-04-03 14:16:41 发布

努力的SIR

最新推荐文章于 2025-04-03 14:16:41 发布

阅读量1.8k

点赞数

分类专栏： BIG DATA【更新中】

本文链接：https://blog.youkuaiyun.com/qq_42615032/article/details/116420841

版权

本文探讨了Kafka中的broker概念，它作为服务端承载了producer和consumer的交互。broker-list用于指定集群中的服务器，常在console producer中使用，而bootstrap-servers则在console consumer中扮演相同角色，提供集群的服务器地址。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

broker指的是kafka的服务端，可以是一个服务器也可以是一个集群。producer和consumer都相当于这个服务端的客户端。

broker-list用来指定集群中的一个或者多个服务器，一般我们再使用console producer的时候，这个参数是必备参数；另外一个必备的参数是topic，如下示例：

[atguigu@hadoop102 kafka]$ bin/kafka-console-producer.sh --broker-list hadoop002:9092 --topic first

bootstrap-servers指的是目标集群的服务器地址，这个和broker-list功能是一样的，只不过我们在使用console consumer时要求用前者。

## 之前的写法
## 老版本的用法，0.8以前的kafka，消费的进度(offset)是写在zk中的

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

努力的SIR

关注关注

0
点赞
踩
3

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

Kafka系列：broker列表、引导服务器和zookeeper

DeoSql的博客

09-24

277

在Kafka集群中，每个broker都会向Zookeeper注册自己的信息，包括broker的ID、主题分区的分配情况等。在本文中，我们详细介绍了Kafka中的broker列表、引导服务器和Zookeeper的概念，并提供了相应的Java代码示例。在Apache Kafka中，broker列表、引导服务器和Zookeeper是关键概念，它们在Kafka集群的运行和管理中扮演着重要的角色。在上面的配置中，我们指定了一个由逗号分隔的Zookeeper地址列表。在上面的代码中，我们将引导服务器的地址设置为。

使用 Docker-Compose 部署 ZooKeeper + Kafka + Kafka-UI

种一棵树最好的时间是十年前，其次是现在。

05-04

3198

使用 Docker-Compose来部署 Kafak + Zookeeper，有密码与无密码配置，使用 Kafka-UI 来连接 Kafak 集群；

参与评论您还未登录，请先登录后发表或查看评论

Kafka系列之broker-list,bootstrap-server以及zookeeper

最新发布

z1ztai的博客

04-03

735

advertised.listeners 表示这个Kafka节点的外网地址，这里分别配置为PLAINTEXT://kafka1:9092，PLAINTEXT://kafka2:9092和PLAINTEXT://kafka3:9092，需要注意的是这个配置项必须要配置为其所在服务器的外网地址，如果说你是在一台服务器上面配置Kafka并要通过外网访问，这个配置就需要配置为服务器外网地址（域名），并且都以PLAINTEXT://开头。所以说就算是只有一个Kafka节点在运行，这一个节点也可以称作一个集群。

【kafka】——Broker

qq_42000631的博客

09-28

5001

kafka broker

KafkaBroker

Loser_you的博客

05-27

2468

一、Kafka Broker 工作流程 1.1 zookeeper中存储的kafka信息启动zk客户端： ./bin/zkCli.sh 查看kafka信息： ls /kafka 1.2 kafka broker 总体工作流程 broker启动，向zk注册自己先注册的controller为controller的leader 由选出的controller监听brokder节点的变化 controller决定选举broker的leader controller将节点信息上传至zk

【Kafka-Shell命令中zookeeper与boostrap server参数】Kafka-Shell命令中--zookeeper与--boostrap-server参数的区别

weixin_53543905的博客

04-12

286

旧版用 --zookeeper 参数，主机名（或IP）和端口用 ZooKeeper 的2181，也就是 server.properties 文件中 zookeeper.connect 属性的配置值.新版用 --bootstrap-server 参数，主机名（或IP）和端口用某个节点的即可，即主机名（或主机IP）:9092。ps：使用 --zookeeper 参数还需要指定 kafka 的 Broker 路径，注意不是在根目录下，是在 /kafka 路径下。是旧版 Kafka 的参数（v2.8以前）

Kafka 2.12-2.3.1以及Zookeeper 3.7.2安装部署

m0_71168231的博客

07-11

1706

p 2181:2181 # 对端口进行映射，将本地2181端口映射到容器内部的2181端口。docker exec -it zookeeper bash //只登录容器，不登录。zkCli ./bin/zkCli.sh //执行脚本新建一个Client，即进入容器。--restart always #始终重新启动zookeeper。zookeeper:3.7.2 启动zookeeper。-v # 将本地目录(文件)挂载到容器指定目录；--name # 设置创建的容器名称。

kafka-2.12-3.6.1.tgz

12-19

/usr/local/kafka_2.12-3.6.1/bin/zookeeper-server-start.sh /usr/local/kafka_2.12-3.6.1/config/zookeeper.properties ``` 五、启动Kafka服务在ZooKeeper运行后，可以启动Kafka Broker： ```bash /usr/local/...

Kafka与ZooKeeper的关系及连接参数bootstrap.server的正确理解

WdzDevops的博客

09-21

820

Kafka客户端会首先连接到这个引导服务器，获取集群中其他可用的Kafka节点的信息，然后建立与这些节点的连接。在上面的示例代码中，我们创建了一个Kafka生产者，并设置了bootstrap.servers参数为"kafka1.example.com:9092,kafka2.example.com:9092,kafka3.example.com:9092"。而bootstrap.server参数是Kafka客户端连接到Kafka集群的初始引导服务器，它指定了至少一个Kafka节点的地址和端口号。

Kafka中bootstrap-server、broker-list和zookeeper的区别

weixin_34014555的博客

04-12

4568

参考 Kafka bootstrap-servers vs zookeeper in kafka-console-consumer 中说建议使用新版(新版本指的是kafka 0.8.0之后的版本)的 --bootstrap-server Kafka专业术语，参考 Apache kafka 工作原理介绍 Broker：Kafka 集群包含一个或多个服务器，这种服务器被称为 broker。 To...

Kafka中消费者方式--zookeeper和--bootstrap

wj1298250240的博客

08-16

825

1）由于consumer在消费过程中可能会出现断点宕机等故障，consumer恢复后，需要从故障前的位置继续消费，所以consumer需要实时记录自己消费到了那个offset，以便故障恢复后继续消费。 2）在之后版本，消费者消费的offset信息会从zookeeper改到到本地Kafka集群。 So –zookeeper 和 --bootstrap是对消费者offset存储位置的一个选择，目前建议使用–bootstrap。消费者同时使用ZK和bootstrap方式消费测试： https://w.

Kafka bootstrap.servers

Carter的程序人生

06-13

1万+

Kafka bootstrap.servers

Kafka常用命令(zookeeper与bootstrap-server)

weixin_42854904的博客

07-02

1万+

kafka的常用命令。包含zookeeper和kafka本身自带bootstrap-server 的命令。

在启动kafka时要连接那台节点，以三台虚拟机为例 kafka-topics.sh --bootstrap-server

weixin_42965737的博客

08-05

654

连接kafka时需要输入kafka节点名和端口：例如： kafka-topics.sh --bootstrap-server hadoop102:9092 --list kafka-topics.sh --bootstrap-server hadoop102:9092,haddoop103:9092,hadoop104:9092 --list 这两种的启动效果是一样的，都是连接kafka集群。有人会问：kafka集群有leader和follower，为什么不直接连接kafka集群？无论连接哪个

【详解】Kafka单机多broker实例集群搭建

牛肉胡辣汤

03-09

774

你可以在一台机器上成功配置并运行多个Kafka Broker实例，形成一个小型的Kafka集群。这对于学习和测试Kafka的分布式特性非常有帮助。

Kafka创建主题时，究竟选--bootstrap-server还是--zookeeper?

weixin_66267720的博客

11-24

2538

3.需要注意的是，虽然--bootstrap-server和--zookeeperr都可以用于查看主题，但它们的用途和访问方式是不同的。另一种是kafka-topics.sh --create --bootstrap-server : --replication-factor 3 --partitions 3 --topic my-topic。1.用--bootstrap-server创建的，就用--bootstrap-server查看。

深度解析kafka broker创建新日志段与更新LEO以及刷盘

猿上生活

01-11

579

原创不易，转载请注明出处文章目录前言1.当前日志段放不下消息集是怎样创建新的日志段的2.写入完leader副本后是怎样更新leo的3.是怎样刷盘的总结前言在《深度解析kafka broker处理发送消息请求并写入磁盘》一文中我们介绍了包括requestHandler对发送消息请求处理以及消息集是怎样被追加写入到.log 文件，稀疏索引是怎样被写入到.index文件的，由于主流程的原因我们有些比较重要的细节没有深入的解析，本文就创建新的日志段，更新leo，刷盘的一些细节问题展开源码级剖析。 1.当.

bin/kafka-topics.sh --bootstrap-server zookeeper1:9092 --create --topic 学号--partitions 1 --replication-factor 3

05-09

这是一个用于在Kafka集群中创建一个新的主题（topic）的命令，其中的参数含义如下： --bootstrap-server：指定Kafka集群中的一个或多个broker地址，用于创建和管理topic zookeeper1:9092：指定bootstrap-server的地址，zookeeper1是主机名，9092是端口号 --create：表示创建一个新主题 --topic：指定新主题的名称，本命令中指定了学号作为主题名称 --partitions：指定新主题的分区数，本命令中指定了1个分区 --replication-factor：指定新主题的副本数，本命令中指定了3个副本这个命令的含义是在Kafka集群中创建一个名为“学号”的主题，并且将该主题划分为1个分区，每个分区有3个副本。如果执行成功，该主题会被添加到Kafka集群中。