kafka建立节点

最新推荐文章于 2025-10-27 10:08:59 发布

原创最新推荐文章于 2025-10-27 10:08:59 发布 · 1.5k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#zookeeper

storm 同时被 2 个专栏收录

7 篇文章

订阅专栏

kafka

5 篇文章

订阅专栏

本文详细介绍了如何使用Zookeeper和Kafka搭建Datain节点的过程，包括在Zookeeper中创建节点、在Kafka的bin目录下创建主题等关键步骤。

kafka建立datain节点
前提：zookeeper和kafka已开启

zookeeper下建立节点

zkCli.sh
 ls / 
 create /datain 1 
 create /datain/id 1

 kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic datain

 kafka-topics.sh --list --zookeeper localhost:2181 //查看所有topic

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

靖-Drei

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

Kafka系列之：增加Kafka节点扩展Kafka集群

zhengzaifeidelushang的博客

08-26

2197

Kafka系列之：增加Kafka节点扩展Kafka集群

kafka集群磁盘满警告，新增kafka节点，重新分配partition

zzhongcy的专栏

07-03

5587

本文参考了网上部分文章，并进行了说明和归纳，详情请查看参考。官方文档参考：https://cwiki.apache.org/confluence/display/KAFKA/Replication+tools kafka环境中机器磁盘告警很容易出现，原因可能是某一个topic的partition为1(或者partition不足导致的)，只往一台机器上写数据，造成kafka集群空间使用不均。下面主要使用kafka-topics.sh和kafka-reassign-partitions.s...

参与评论您还未登录，请先登录后发表或查看评论

Kafka 集群增加节点（Broker）

Li Nan 的博客

09-20

1987

kafka 扩容

zookeeper部署奇数节点的原因（最少3个）

最新发布

小晨尘的博客

10-27

1万+

1.zookeeper集群的写操作，由leader节点负责，它会把通知所有节进行写入操作，只有收到半数以上节点的成功反馈，才算成功。如果是部署2个节点的话，那就必须都成功。2.zookeeper的选举策略也是需要半数以上的节点同意才能当选leader，如果是偶数节点可能导致票数相同的情况3.只有当半数以上的节点存活时 zookeeper集群才能对外服务，维持正常状态，如果是2个节点，只要其中一个挂...

Kafka集群扩容(新增一台kafka节点)

weixin_45697805的博客

09-19

1455

kafka集群扩容、kafka topic迁移现有环境上步骤完成以后kafka集群没有完全扩容成功，因为只扩容了kafka节点，原来有的topic还是在原有的几点上，这台新扩容的还没有分担原有的压力，所以还需要迁移topic。

Kafka：服役（添加）新节点

程序员无羡的博客

04-06

664

Kafka：服役（添加）新节点

只需三步，使用 KRaft 建立多节点 Kafka 集群

了解关于云主机、GPU、AI、数据库托管、Kubernetes等相关技术知识，以及DigitalOcean云平台使用教程

05-29

2235

在本教程中，你将创建一个 Kafka 集群，使用 KRaft共识协议的 Kafka 集群。你将学习如何配置节点成为集群的一部分，并观察主题分区是如何分配给不同节点的。你还将学习如何将主题分配给集群中的特定代理。

kafka单节点搭建（创建topic让producer为consumer提供消息）

大壮的博客

07-22

4421

kafka单节点搭建（创建topic让producer为consumer提供消息） kafka是一种高吞吐量的分布式发布订阅消息系统，了解topic创建然后producer提供消息给consumer 移除点击此处添加图片说明文字在很多的场景我们使用到了kafka，现在我们开始搭建单机版本kafka，理论我们放到另一篇来说。准备工作：移除这里写图片描述上述的

单节点搭建zookeeper加kafka集群

dreamy.w的博客

12-13

964

超实用单节点搭建Kafka+zookeeper集群模式

Kafka集群加入新Broker节点会发生什么

predisw的博客

05-09

1151

当向Kafka集群添加新的Broker节点时，新Broker会自动注册到ZooKeeper并同步集群元数据，成为Controller选举的候选者。然而，现有分区不会自动迁移到新Broker，需要管理员手动触发分区重平衡或配置自动平衡。管理员可以通过生成和执行迁移计划，或启用自动平衡配置来优化分区分布。新Broker的加入会带来轻微的性能影响，尤其是在分区迁移期间，但也会提升集群的总存储容量。最佳实践建议包括逐个加入节点、监控关键指标，并在加入后进行必要的优化操作。这些步骤确保新Broker的资源能够被充分利

kafka 理论知识

weixin_44815878的博客

08-02

1556

Kafka是一个分布式的消息订阅系统。

Zookeeper以及kafka单节点发、服务部署

04-12

Zookeeper以及kafka单节点发、服务部署

Kafka 1.0.0集群增加节点

weixin_30614109的博客

04-07

1209

原有环境主机名　 IP 地址安装路径系统 sht-sgmhadoopdn-01 172.16.101.58 /opt/kafka_2.12-1.0.0 /opt/kafka（软连接） CentOS Linux release 7.3.1611 (Core) sht-sgmhadoopdn-02　 172.16.101.59 ...

kafka入门，节点服役和退役（新增节点和删除节点）(十二)

weixin_43205308的博客

07-01

1641

kafka入门，节点服役和退役（新增节点和删除节点）。

部署zookeeper搭建kafka集群

认知行动坚持

05-12

463

部署zookeeper 1. 访问zookeeper官网，下载zookeeper的安装包访问zookeeper官网 Zookeeper的官网地址为：http://zookeeper.apache.org。可以直接下载好，传到主机上，也直接在主机下载zookeeper wget http://mirrors.hust.edu.cn/apache/zookeeper/zookeeper-3.7.0/apache-zookeeper-3.7.0-bin.tar.gz 2. 创建数据目录注：如果创建三个zoo

搭建ZooKeeper集群和Kafka集群

Kyan1te的博客

05-02

242

规划 IP 主机名节点 192.168.200.40 zookeeper1 集群节点 192.168.200.50 zookeeper2 集群节点 192.168.200.60 zookeeper3 集群节点基础环境配置（1）修改主机名使用 hostnamectl 命令修改 3 台主机的主机名。 Mycat 节点修改主机名命令： [root@localhost ~]# hostnamectl set-hostname zookeeper1 [root...

Kafka第三章：新旧节点更替

weixin_50835854的博客

02-20

1163

这次博客，我们学习一下Kafka新旧节点的更替，比如一些硬件老化或者更新换代，如何添加新节点，如何去除旧节点这一次，Kafka新旧节点更换，暂时就到这里。

kafka 集群--3个broker 3个zookeeper创建实战

Saltwater_leo的专栏

07-26

469

http://www.cnblogs.com/davidwang456/p/4238536.html

kafka单节点配置SCRAM

03-28

### Kafka单节点SCRAM-SHA-512认证配置教程 #### 准备工作在开始之前，确保安装并启动了一个单节点的Kafka环境。此过程假设使用的是最新版Kafka（基于引用中的描述），并且ZooKeeper服务运行正常。 #### 配置步骤说明 ##### 1. 启用SASL机制编辑`server.properties`文件，在其中启用SASL协议支持： ```properties sasl.enabled.mechanisms=SCRAM-SHA-512 security.inter.broker.protocol=SASL_PLAINTEXT listener.name.sasl_plaintext.scram-sha-512.sasl.jaas.config=org.apache.kafka.common.security.scram.ScramLoginModule required; listeners=SASL_PLAINTEXT://localhost:9092 advertised.listeners=SASL_PLAINTEXT://localhost:9092 ``` 上述设置启用了`SCRAM-SHA-512`作为安全验证机制，并指定了监听器名称为`sasl_plaintext`[^2]。 ##### 2. 创建用户凭证通过`kafka-configs.sh`脚本创建用户的SCRAM密码哈希值。执行如下命令来添加一个名为`admin`的用户及其对应的SCRAM-SHA-512密码： ```bash bin/kafka-configs.sh --zookeeper localhost:2181 --alter \ --add-config 'SCRAM-SHA-512=[password=admin_password]' \ --entity-type users --entity-name admin ``` 该命令会向指定的ZooKeeper实例注册新的用户信息，并存储其加密后的密码[^3]。 ##### 3. 修改JAAS配置文件为了使Broker能够识别新加入的安全策略，需调整位于`${KAFKA_HOME}/config/zookeeper_jaas.conf`或类似的JAAS配置文件的内容。增加类似下面的一节定义： ```plaintext KafkaServer { org.apache.kafka.common.security.scram.ScramLoginModule required; }; Client { org.apache.kafka.common.security.plain.PlainLoginModule required username="admin" password="admin_password"; }; ``` 这里明确了服务器端接受来自客户端的身份验证请求所依赖的具体模块实现方式[^4]。重启Kafka Broker应用以上更改效果即可完成整个流程。 #### 测试连接有效性可以利用官方提供的控制台消费者程序测试刚刚建立好的安全性设定是否生效: ```bash bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 \ --topic test_topic_name \ --from-beginning \ --consumer.config config/consumer.properties ``` 注意这里的`consumer.properties`应该包含正确的登录参数匹配先前设立的用户名与密码组合。 ---