重建kafka集群详细步骤

最新推荐文章于 2025-06-06 15:48:17 发布
原创 最新推荐文章于 2025-06-06 15:48:17 发布 · 316 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#kafka #分布式

kafka数据清理：
1、停止kafka 服务(先停flume等数据写入工具)
2、停止kafka的ranger插件(ranger --> Kafka Ranger Plugin)
3、删除kafka的log目录
4、清理zk目录：(任意zkcli主机执行)
rmr /brokers
rmr /kafka-acl
rmr /kafka-acl-changes
rmr /isr_change_notification
rmr /controller_epoch
rmr /consumers
rmr /config
rmr /admin
rmr /controller
5、重启kafka集群
6、重新创建topic

sunxunyong
关注
Kafka系列之：Kafka集群新增节点后实现数据均衡
zhengzaifeidelushang的博客
10-22 786
Kafka系列之：Kafka集群新增节点后实现数据均衡
【Kafka】Kafka 删除topic、然后重建会接着上次消费位置消费吗？
九师兄
04-02 747
今天在群里遇到这样一个问题：flink 消费2个kafka topic a,b，状态成功保存在savepoint，途中删掉一个topic a，运行一会再把这个topic a加回来，这时候这个topic a 的状态就无法读取了，会重新消费, 但是偏移量是还保存在kafka _consumer_offsets 里面，有没有办法能让他继续从之前的offset 消费呢？这个问题，我们先拆分一下。
重新安装kafka集群
周星星
07-04 800
首先很感谢大家的垂爱，从当初收回学校运营的这个公众号到后面自己专注于大数据技术公众号，也快一年了，不知不觉粉丝的个数已经从当初的两三百到千级别了，其实一直没怎么精心去运营，只想着权当把微信公众号这个平台当做树洞，当做日记，来分享自己的一次次学习，一次次跳坑，一次次成长。一路走来，有人离开，有人陪伴，虽然我身体上是孤独的，但是精神上却一直是充实的，没有大号主的扶持、没有精心的运营、没有软文式的广告，只想默默跟大家一起学习，目前只有大成子也就是号主本人一直在运营，如果有志同道合的同鞋想一起学习，平常也愿意分享.
kafka集群环境搭建
li_xuemin的博客
08-11 291
kafka环境搭建创建docker-compose搭建zk集群搭建kafka集群 创建docker-compose 执行docker-compose --version如果出现以下报错，则需要配置docker-compose，如果显示版本则不需要配置。 bash: docker-compose: command not found... 执行以下命令拉取docker-compose sudo curl -L "https://github.com/docker/compose/releases/d
kafka主题重建
天行健君子以自强不息
02-21 1758
原因：本身kafka主题会有三个副本，但是开发者创建kafka主题时，只是指定了一个副本，而且是任意分配的，所以当重启这台kafka时，应用无法使用该主题，当重启完毕后，需要该主题重建为三个副本. 1、删除kafka存储目录（server.properties文件log.dirs配置，默认为"/tmp/kafka-logs"）相关topic目录 2、Kafka 删除topic的命令是：   ...
Hbase常用命令 kafka组重置
just_learing的博客
08-13 602
Hbase常用命令
Kafka 搭建
JIE的博客 --- moon_coder
04-06 1803
Kafka 是由 Apache 软件基金会开发的一个开源流处理平台，由 Scala 和 Java 编写。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。对于像 Hadoop 一样的日志数据和离线分析系统，但又要求实时处理的限制，这是一个可行的解决方案。
Kafka集群多用户访问权限分治和消息共享配置指导
企业实战系列集 ●●● https://ximenjianxue.blog.youkuaiyun.com
04-24 3554
这明显在生产环境，这种认证方式时不符合实际业务场景的。allow.everyone.if.no.acl.found=true #false的话就只能超级用户才能访问资源，true的话其他也可以，如果用户读写一个 Topic，但是没有配置 ACL 权限，客户端会报认证失败错误。现场业务由于多厂商集成，共享数据需要，需对接当前kafka集群，为做到类似租户隔离的功能，需要开启kafka的权限控制和动态用户管理功能，实现不同厂商访问被授权的合法资源，消费者账号只能消费数据，生产者账号只能生产数据。
小亦工单案例：kafka集群 KRaft 模式开启 SCRAM-SHA-256 SASL_PLAINTEXT 认证报错
最新发布
Xiaoyi_CES的博客
06-06 1429
Kafka集群SCRAM认证异常：KRaft模式集群启用SCRAM-SHA-256 SASL_PLAINTEXT认证时报错，客户端连接失败。 问题成功解决：kafka-confgs.sh -alter单节点执行凭证创建;按需独立格式化目标节点磁盘;客户端启动前配置admin.conf并显式引用。
Kafka集群安装实施_Kafka2.5.0+Redhat7.5+Zookeeper
yangkei
11-02 1083
一、概述 1.1 Kafka概念描述 1）Apache Kafka是一个开源消息系统，由Scala写成。是由Apache软件基金会开发的一个开源消息系统项目。 2）Kafka最初是由LinkedIn公司开发，并于2011年初开源。2012年10月从Apache Incubator毕业。该项目的目标是为处理实时数据提供一个统一、高通量、低等待的平台。 3）Kafka是一个分布式消息队列。Kafka对消息保存时根据Topic进行归类，发送消息者称为Producer，消息接受者称为Consumer，此外k
Kafka主题Topic的相关操作
weixin_40151864的博客
05-14 546
目录 创建topic 查看topic的列表 新版本生产者（支持0.9版本+） 新版本消费者（支持0.9版本+） 查看某一个具体的Topic 修改Topic 删除Topic 查询topic每个partition的偏移量 创建topic $KAFKA_HOME/bin/kafka-topics.sh --create --topic channel.test.HelloWorld --zookeeper node01:2181,node02:2181,node03:2181/kafk..
删除kafka topic后再重新建同名topic
weixin_39001364的博客
11-08 8252
首先确保 delete.topic.enable=true 第一步：bin/kafka-topics --zookeeper zookeeper集群 --delete --topic topicName 第二步：进入zookeeper命令行，删除三个目录①rmr /brokers/topics/market ②rmr /admin/delete_topics/market ③
【帖子】怎么彻底删除kafka的topic，然后重建？
weixin_34414196的博客
09-26 864
怎么彻底删除kafka的topic，然后重建？ 网上都说用kafka-run-class.shkafka.admin.DeleteTopicCommand 命令删除topic，但是并没有成功，用kafka-topics.sh命令查看依然可以查看到topic，应该怎样才能彻底删除topic？ 2016-01-01 添加评论 分享 2...
从零开始重建Kafka，会是什么样？
优快云资讯
04-27 8688
简单说，就是想让 Kafka 在云环境中用起来更轻松，这些项目效仿了 WarpStream 提出的思路，主要目标是让 Kafka 能根据需求更灵活地扩展或缩减资源（即弹性）、大幅降低使用成本，以及进一步为未来和“数据湖仓一体”（lakehouse）这样的新型数据架构无缝整合打基础。但在云端，用上了像 S3 这样的超大对象存储后，就不再需要这种分区机制了。如果 Kafka 支持内置的快照功能，就能在需要的时候把一系列变化总结成一个当前状态的快照，后续更新基于这个快照继续处理，旧记录可以清理掉，大大提高效率。
Kafka的Topic操作
大JAVA解决方案
03-29 2697
Kafka的Topic操作原创 2017年04月19日 19:57:431877Kafka shell topic操作     创建Topic          hadoop         kafka]# bin/kafka-topics.sh --create --topic hadoop --zookeeper master:2181,slave01:2181,slave02:2181 --...
Docker Kafka 数据清理
qq_65299613的博客
11-12 1971
Docker Kafka 数据的清理，删除没用的topic，压缩wsl2磁盘
kafka日常运维工作
weixin_43046724的博客
02-26 2034
一、创建/删除/重建topic 1、创建：./bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 2 --partitions 10 --topicTOPIC_NAME 2、删除：./bin/kafka-topics.sh --delete --zookeeper localhost:2181 --topicTOPIC_NAME 3、查看状态和分区负载详情：./bin/kafka-topics.s..
docker搭建kafka2.1.0集群+zookeeper3.4 2020版本全流程
qq_34168515的博客
05-30 1899
文章目录前言一、搭建docker1.1 创建docker的网络1.2 查询docker的网络二、Zookeeper集群搭建2.1 安装docker之后，还需要安装 docker-compose2.2 采用 使用yml文件和$ docker-compose up -d命令创建或重建集群2.3 在放置有 docker-compose.yml 的位置运行命令三、Kafka集群搭建2.1 创建 kafka的 docker-compose.yml2.2 运行在放置有 docker-compose.yml 的位置运行命
分布式集群Kafka删除已经创建的topic
weixin_34381687的博客
11-23 601
应用场景 按照Kafka集群的测试和简单试用博文进行了对Kafka的使用，与topic创建，并且模拟了消息的生产者，消息的消费者进行模拟环境，验证Kafka可以执行，但是想到，建立了topic，如何进行删掉呢？这是一个问题。 操作步骤 方法一：修改配置文件，通过命...
k8s部署zookeeper与kafka集群
03-09
<think>好的，用户想要了解在Kubernetes上部署Zookeeper和Kafka集群的教程。首先，我需要回忆一下相关的组件和步骤。记得Kafka依赖Zookeeper进行协调，所以在Kubernetes上部署的话，应该先部署Zookeeper，再部署Kafka。 先看看用户提供的引用内容。引用2提到了在Kubernetes上部署Kafka Connect的指南，可能涉及到Kafka的部署部分。引用3和引用1提到了一些Kafka的配置，比如连接Zookeeper的端口是2181，生产者使用9092端口。引用5里有关Kylin的部署步骤，可能涉及到Hadoop和Zookeeper的启动顺序，但不太确定是否相关。 接下来，我需要确定在Kubernetes中部署Zookeeper和Kafka的基本步骤。通常，会使用StatefulSet来部署有状态应用，比如Zookeeper和Kafka，因为它们需要稳定的网络标识和持久化存储。此外，需要配置服务发现，比如Headless Service，以便Pod之间可以互相通信。 对于Zookeeper，每个实例需要有自己的存储卷，并且通过DNS解析来发现其他节点。Kafka的Broker也需要类似的配置，并且需要连接到Zookeeper集群。可能需要配置环境变量或者配置文件来指定Zookeeper的地址，比如使用zookeeper.connect参数指向Zookeeper的服务名称和端口。 然后，检查用户提供的引用内容，是否有可以直接使用的配置示例。引用1提到zookeeper.connect=localhost:2181，这在Kubernetes环境中可能需要改为Zookeeper服务的DNS名称，比如zk-headless.default.svc.cluster.local:2181。 引用3中的生产者和消费者命令可能需要调整，使用Kafka服务的外部IP或者NodePort来访问，如果是集群内部访问的话，可以使用ClusterIP服务。 接下来，考虑如何将这些步骤结构化。可能分为部署Zookeeper集群、部署Kafka集群、验证部署、持久化存储配置、监控和维护等部分。 需要确保每个步骤的配置正确，比如Zookeeper的StatefulSet配置正确的副本数、存储卷声明模板、环境变量如ZOO_SERVERS。Kafka的配置同样需要StatefulSet，配置ADVERTISED_LISTENERS指向正确的服务地址，以便内外部的客户端可以连接。 另外，要注意Kubernetes的资源分配，比如CPU和内存的限制，以及健康检查的配置，如liveness和readiness探针，确保集群的稳定性。 可能还需要考虑使用ConfigMap来管理配置文件，比如Zookeeper的zoo.cfg和Kafka的server.properties，这样可以在不重建Pod的情况下更新配置。 最后，验证部署是否成功，可以通过创建主题、生产者和消费者进行测试，如引用3中的命令，但需要调整参数以适应Kubernetes环境中的服务名称和端口。 现在需要将这些思考整理成一个步骤清晰的教程，确保用户能够按照步骤操作，同时引用相关的内容作为参考，比如配置示例中的参数设置。</think>### 在Kubernetes上部署Zookeeper和Kafka集群的逐步指南 #### 1. 部署Zookeeper集群 Zookeeper是Kafka的依赖组件，用于管理集群元数据和协调节点[^4]。 **步骤：** 1. **创建Zookeeper Headless Service** 定义Pod间DNS发现机制： ```yaml apiVersion: v1 kind: Service metadata: name: zk-headless spec: clusterIP: None ports: - port: 2181 name: client - port: 2888 name: server - port: 3888 name: leader-election selector: app: zookeeper ``` 2. **创建Zookeeper StatefulSet** 使用持久化存储和副本数配置： ```yaml apiVersion: apps/v1 kind: StatefulSet metadata: name: zk spec: serviceName: zk-headless replicas: 3 selector: matchLabels: app: zookeeper template: metadata: labels: app: zookeeper spec: containers: - name: zk image: zookeeper:3.8.0 env: - name: ZOO_MY_ID valueFrom: fieldRef: fieldPath: metadata.name # 生成1~3的ID，对应StatefulSet Pod编号 - name: ZOO_SERVERS value: "zk-0.zk-headless:2888:3888;zk-1.zk-headless:2888:3888;zk-2.zk-headless:2888:3888" volumeMounts: - name: datadir mountPath: /data volumeClaimTemplates: - metadata: name: datadir spec: accessModes: [ "ReadWriteOnce" ] storageClassName: "standard" resources: requests: storage: 1Gi ``` #### 2. 部署Kafka集群 Kafka通过`zookeeper.connect`参数连接Zookeeper[^1][^3]。 **步骤：** 1. **创建Kafka Headless Service** ```yaml apiVersion: v1 kind: Service metadata: name: kafka-headless spec: clusterIP: None ports: - port: 9092 name: broker selector: app: kafka ``` 2. **创建Kafka StatefulSet** 配置Broker ID和Zookeeper连接： ```yaml apiVersion: apps/v1 kind: StatefulSet metadata: name: kafka spec: serviceName: kafka-headless replicas: 3 selector: matchLabels: app: kafka template: metadata: labels: app: kafka spec: containers: - name: kafka image: confluentinc/cp-kafka:7.3.0 env: - name: KAFKA_BROKER_ID valueFrom: fieldRef: fieldPath: metadata.name # 自动生成Broker ID - name: KAFKA_ZOOKEEPER_CONNECT value: "zk-0.zk-headless:2181,zk-1.zk-headless:2181,zk-2.zk-headless:2181" - name: KAFKA_ADVERTISED_LISTENERS value: "PLAINTEXT://$(HOST_IP):9092" ports: - containerPort: 9092 volumeMounts: - name: datadir mountPath: /var/lib/kafka volumeClaimTemplates: - metadata: name: datadir spec: accessModes: [ "ReadWriteOnce" ] storageClassName: "standard" resources: requests: storage: 10Gi ``` #### 3. 验证部署 1. **检查Pod状态** ```bash kubectl get pods -l app=zookeeper kubectl get pods -l app=kafka ``` 2. **测试Kafka生产消费** 进入Kafka Pod执行命令： ```bash # 创建Topic kafka-topics --create --topic test --partitions 3 --replication-factor 2 --bootstrap-server kafka-headless:9092 # 启动生产者 kafka-console-producer --broker-list kafka-headless:9092 --topic test # 启动消费者（新终端） kafka-console-consumer --bootstrap-server kafka-headless:9092 --topic test --from-beginning ``` #### 4. 持久化与监控增强 - **持久化存储**：通过`volumeClaimTemplates`自动创建PVC，确保数据持久化[^2] - **资源限制**：在容器配置中添加CPU/内存限制 ```yaml resources: limits: cpu: "1" memory: 1Gi ``` - **健康检查**：添加`livenessProbe`和`readinessProbe`检测服务状态 #### 5. 外部访问配置 若需从集群外访问Kafka，需配置NodePort或LoadBalancer类型的Service： ```yaml apiVersion: v1 kind: Service metadata: name: kafka-external spec: type: NodePort ports: - port: 9092 nodePort: 31090 selector: app: kafka ``` ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值