kafka3.1集群部署

已于 2022-04-07 14:28:04 修改
阅读量2.3k 收藏
点赞数
分类专栏： 运维 文章标签： kafka
于 2022-04-07 14:20:51 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/xiaohanshasha/article/details/124014638
版权
本文详细介绍了如何部署Kafka 3.1集群，首先需要安装Zookeeper集群，接着分步骤指导下载Kafka，配置包括broker.id、delete.topic.enable等关键参数，并调整服务器之间的监听设置。最后，文章提到了启动Kafka集群的方法及验证测试过程。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

最低0.47元/天 解锁文章
kafka集群的部署及kafka监控工具
qwerty1372431588的博客
07-30 1426
kafka1.kafka介绍2. kafka学习记录(术语)3. kafka集群部署(直接部署在了一台机器上)3.1 安装多节点zookeeper集群3.2 配置kafka集群3.3 启动集群4. 验证部署4.1 测试topic的创建和删除4.1.1 创建topic--->test4.1.2 查看该topic的具体情况4.1.3 删除topic4.2 测试消息的生产与发送4.2.1 创建生产者4.2.2 创建消费者4.2.3 生产者吞吐量测试4.2.4 消费者吞吐量测试5. kafka监控工具Kafk
Kafka 单机和集群环境部署教程
qq_42568323的博客
08-09 2796
通过以上步骤，我们成功部署了 Kafka 单机和集群环境，并实现了一个简单的生产者和消费者应用。Kafka 提供了高吞吐量、低延迟的消息传递能力，适合用于实时流处理和数据管道。
Kafka入门介绍、安装部署
11号车厢
08-10 380
文章目录1、前言2、Kafka基本概念3、Kafka安装3.1 安装Zookeeper3.2 安装Kafka3.3 Kafka启动、测试 1、前言 本章节使用的是Apache Kafka，版本：kafka_2.11-2.1.0.tgz；但是实际工作中要考虑CDH环境，使用的是CDH官网的Kafka，所以这里先简单介绍下，如何集成到CDK中，请参考博客： https://blog.csdn.net/...
kafka 3.1.0集群搭建
persistence_PSH的博客
05-02 2022
共采用三台虚拟机来组成kafka集群 先找到kafka的安装目录 cd /usr/local/kafka 进入config目录，修改server.properties cd config/ vim server.properties 主要修改三处配置 按 i 进入编辑模式，/进行搜索，n搜索的下一项，N搜索的上一项 第一个是broker.id，需要保证集群中每一个节点的id唯一 第二个是isteners=PLAINTEXT://192.168.158.139:9092，这里的ip就是你的虚拟机i
Centos 8、RockyLinux 8、AlmaLinux 8安装Kafka 3.1.0集群
最新发布
a15969091614的博客
04-01 2563
Centos-8、RockyLinux-8、AlmaLinux-8安装Kafka-3.1.0集群 1、介绍 本集群采用三节点模式，jdk版本为openjdk-8 ip与hostname对应关系 kafka-1 对应 192.168.0.201 kafka-2 对应 192.168.0.202 kafka-3 对应 192.168.0.203 2、修改hostname 在节点1执行 hostnamectl set-hostname kafka-1 正在上传…重新上传取消
Kafka(2.13-3.1.0)集群安装部署
笼包万岁丶的博客
03-21 4404
Kafka简介 Kafka是分布式发布-订阅消息系统。Kafka是一种快速、可扩展的、设计内在就是分布式的，分区的和可复制的提交日志服务。 Kafka与传统消息系统相比，有以下不同： ①被设计为一个分布式系统，易于向外扩展； ②同时为发布和订阅提供高吞吐量； ③支持多订阅者，当失败时能自动平衡消费者； ④将消息持久化到磁盘，因此可用于批量消费，例如ETL，以及实时应用程序。 前言 Kafka部署需要首先搭建Zookeeper集群，Zookeeper集群部署可参考如下文章： https://blog.csdn
kafka配置_kafka的集群搭建、配置详解和Java api、延迟队列的三种思路
weixin_39710462的博客
12-01 397
kafka集群修改kafka中server.properties文件# 集群中配置跟如下相同# broker 编号，集群内必须唯一broker.id=1# host 地址host.name=127.0.0.1# 端口port=9092# 消息日志存放地址log.dirs=/opt/kafka/log# ZooKeeper 地址，多个用,分隔zookeeper.connect=localh...
Kafka入门集群部署
qq_36470898的博客
02-26 412
一、Kafka 概述 Kafka 是一个分布式的基于发布/订阅模式的消息队列（Message Queue），主要应用于 大数据实时处理领域。 二、消息队列的两种模式 （1）点对点模式（一对一，消费者主动拉取数据，消息收到后消息清除） 消息生产者生产消息发送到Queue中，然后消息消费者从Queue中取出并且消费消息。 消息被消费以后，queue 中不再有存储，所以消息消费者不可能消费到已经被消费的...
kafka3.1集群搭建（kraft模式）
热门推荐
qq_47658874的博客
01-28 1万+
导读 我公司有一个项目现场那边说zk有漏洞，所以我们就打算部署一套不依赖zookeeper的kafka高版本集群，也就是Kraft模式。 Apache Kafka3.0.0的发布为kafka彻底去掉Zookeeper铺平了道路，Kafka Raft 支持元数据主题的快照以及自我管理，而3.1.0版本在2022.1.24发布，对3.0.0版本又修改了。我们先来初步体验一下KRaft的入门。 KRaft简介 Kafka的共识机制KRaft，仍然处于预览机制。未来KRaft将作为Apache Kafka的
Linux 下 kafka 集群部署
qq_59998784的博客
07-03 3492
本文将以三台服务器为例，介绍在 linux 系统下kafka的部署方式。
Kafka集群搭建
xintingandzhouyang的专栏
02-21 1427
Kafka集群搭建 1.1 下载解压 Kafka 安装包官方下载地址：http://kafka.apache.org/downloads，本用例下载的版本为2.2.0，下载命令： # 下载 wget https://www-eu.apache.org/dist/kafka/2.2.0/kafka_2.12-2.2.0.tgz # 解压 tar -xzf kafka_2.12-2.2.0.tgz 这里解释一下 kafka 安装包的命名规则：以kafka_2.12-2.2.0.tgz为例，前...
kafka-集群部署
L先生
12-07 409
文章目录一、基础环境1、安装JDK二、部署环境1、安装zookeeper2、设置myid3、安装kafka3.1 添加环境变量4、开启服务 一、基础环境 主机名 IP地址 master 192.168.10.15 slave1 192.168.10.16 slave2 192.168.10.17 1、安装JDK mkdir -p /usr/java cd /usr/java/ 将JDK包上传到/usr/java/目录下 解压：tar -zxvf jdk包 配置变量环境 vim
Kafka 安装部署
Z
01-01 1206
Kafka 安装部署。包括：本地安装部署、通过 Docker 安装部署、集群安装部署。其中处理了通过 Docker 安装部署之后，无法通过网络访问的问题。
Kafka环境部署
qq_24045275的博客
05-30 301
1.Zookeeper简介 ZooKeeper是一个开源的分布式组件，能够提供少量数据的存储，并保证这些数据的一致性，另外还提供诸如 临时节点自动删除、顺序节点自增长、发布/订阅 等特性，从而能为分布式程序提供协调服务。基于它，可以实现分布式锁、统一命名服务、配置中心、分布式同步等功能。 它是Google的Chubby一个开源的实现。它本身以集群的形式存在，这个zk集群用来对应用程序集群进行管理，监视应用程序集群中各个节点的状态，并根据应用程序集群中各个节点提交的反馈信息决定下一步的合理操作。 2.Zoo
kafka 3.1.1 cluster 三个结点 docker-compose 部署
云在青天水在瓶
06-15 1460
bitnami kafka 3.1.1 三个结点docker 集群；docker compose；使用 internal external listener 兼听器
Kafka集群安装手册
RanGe的博客
04-13 301
Kafka群安装手册 CentOS7 目 录 1 概述 2 部署环境 3 系统环境搭建 3.1 修改yum源 4 安装JAVA环境 4.1 配置环境变量 4.2 检验 5 关闭防火墙 6 配置服务器间信任ssh(可不做) 7 kafka集群安装 7.1 解压缩 7.2 编辑配置文件 7.3 配置zookeeper 7.4 启动zookeeper 7.5 启动kafka 7.6 检查测试 7....
kafka笔记3--快速部署KRaft版本的kafka3.1.1
脚步不能达到的地方，眼光可以达到；眼光不能达到的地方，精神可以飞到
05-14 4396
kafka笔记3--快速部署KRaft版本的kafka3.1.1 1 介绍 2 部署测试 2.1 部署 2.2 测试 3 注意事项 4 说明 1 介绍 Apache Kafka Raft 是一种共识协议，它的引入是为了消除 Kafka 对 ZooKeeper 的元数据管理的依赖，被社区称之为 Kafka Raft metadata mode，简称 KRaft 模式。本文基于最新的 3.1.1 版本快速部署一个测试版本的 kafka, 若需要部署老版本kafka 可以参考博文 kafka笔记1–基础介绍与集群
Kafka分布式集群部署
Joker_Jiang3的博客
05-28 340
Kafka分布式集群部署 1．集群规划 在hadoop01、hadoop02和hadoop03三个节点上部署Kafka。我安装的版本是kafka_2.11-2.1.0.tgz，下载地址：http://archive.apache.org/dist/kafka 2．解压安装 （1）解压Kafka安装包到/opt/modules/目录下 # 解压 [jiang@hadoop01 software]$ tar -zxvf kafka_2.11-2.1.0.tgz -C /opt/modules/ # 重命名 [j
kafka集群部署(最新版本kafka_2.13-3.1.0)
小米bb的博客
03-07 4421
集群环境： 节点名 ip地址 OS版本 部署服务 broker信息 kafka01 192.168.96.11 CentOS Linux release 7.9.2009 (Core) jdk、zookeeper、kafka broker : 0 kafka02 192.168.96.12 CentOS Linux release 7.9.2009 (Core) jdk、zookeeper、kafka broker : 1 kafka03 192.168.96.12 CentOS L
k8s手动部署kafka集群
03-18
### 手动在 Kubernetes 上部署 Kafka 集群的最佳实践 手动在 Kubernetes (K8s) 上部署 Apache Kafka 集群涉及多个步骤，包括准备环境、配置 ZooKeeper 和 Kafka 的服务与状态集（StatefulSet），以及验证集群的功能。以下是详细的说明： #### 1. 准备工作 确保 Kubernetes 集群已正常运行并具备足够的资源支持 Kafka 和 ZooKeeper 的部署。如果尚未安装 `kubectl` 或其他必要的工具，请先完成这些基础设置。 #### 2. 创建命名空间 为了更好地管理组件，建议为 Kafka 及其依赖项创建专用的命名空间： ```bash kubectl create namespace kafka-system ``` #### 3. 配置 ZooKeeper 集群 Kafka 依赖于 ZooKeeper 来协调元数据存储和其他分布式功能。可以通过 YAML 文件定义 StatefulSet 和 Service 来启动 ZooKeeper 实例。 ##### 3.1. 定义 ZooKeeper 的 ConfigMap ZooKeeper 使用特定的配置文件来控制行为。通过以下方式创建 ConfigMap： ```yaml apiVersion: v1 kind: ConfigMap metadata: name: zookeeper-config namespace: kafka-system data: myid: "1" zoo.cfg: | tickTime=2000 initLimit=5 syncLimit=2 clientPort=2181 dataDir=/var/lib/zookeeper/data dataLogDir=/var/lib/zookeeper/log server.1=zookeeper-0.zookeeper-headless.kafka-system.svc.cluster.local:2888:3888 --- apiVersion: apps/v1 kind: StatefulSet ... ``` 此部分需根据实际需求调整节点数量和网络地址[^2]。 ##### 3.2. 启动 ZooKeeper Headless Service 和 StatefulSet 利用上述配置生成对应的 Kubernetes 对象： ```bash kubectl apply -f zookeeper-service.yaml -n kafka-system kubectl apply -f zookeeper-statefulset.yaml -n kafka-system ``` #### 4. 部署 Kafka 集群 一旦 ZooKeeper 成功运行，即可继续构建 Kafka 集群。 ##### 4.1. 定义 Kafka 的 ConfigMap 类似于 ZooKeeper，Kafka 也需要自定义配置参数以满足生产环境的要求： ```yaml apiVersion: v1 kind: ConfigMap metadata: name: kafka-config namespace: kafka-system data: server.properties: | broker.id=-1 listeners=PLAINTEXT://:9092 advertised.listeners=PLAINTEXT://${HOSTNAME}.kafka-brokers.kafka-system.svc.cluster.local:9092 num.network.threads=3 ... ``` 注意替换 `${HOSTNAME}` 等变量以便动态解析主机名[^3]。 ##### 4.2. 设置 Kafka Headless Service 和 StatefulSet 同样地，编写相应的 YAML 描述文档用于声明 Kafka Broker 的实例分布和服务发现机制： ```yaml apiVersion: v1 kind: Service metadata: name: kafka-brokers namespace: kafka-system spec: clusterIP: None selector: app: kafka ports: - port: 9092 targetPort: 9092 --- apiVersion: apps/v1 kind: StatefulSet ... ``` 执行命令加载以上模板至 K8s 中： ```bash kubectl apply -f kafka-service.yaml -n kafka-system kubectl apply -f kafka-statefulset.yaml -n kafka-system ``` #### 5. 测试连接性和功能性 最后一步是对新建立的 Kafka 集群进行全面测试，确认消息传递流程无误。 ##### 5.1. 创建 Topic 并发送接收样本数据 进入任意一个 Pod 内部操作 CLI 工具检验端到端连通状况： ```bash kubectl exec -it kafka-0 -n kafka-system -- bash kafka-topics.sh --create --topic test-topic --bootstrap-server localhost:9092 --partitions 3 --replication-factor 2 kafka-console-producer.sh --broker-list localhost:9092 --topic test-topic > Hello, Kafka on K8s! ^C kafka-console-consumer.sh --bootstrap-server localhost:9092 --from-beginning --topic test-topic Hello, Kafka on K8s! ``` #### 总结 尽管存在多种自动化解决方案简化这一过程，但掌握手工布置方法有助于深入理解底层原理及其潜在问题解决策略[^4]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值