kafka搭建kraft集群模式

【Kafka】Kafka3.3.1集群搭建指南KRaft版本 元数据的管理被整合到了 Kafka 当中,而不需要使用像 ZooKeeper 这样的第三方工具,这大大简化了 Kafka 的架构。这种新的 KRaft 模式提高了分区的可伸缩性和弹性,同时简化了 Kafka 的部署,现在可以不依赖 ZooKeeper 单独部署 Kafka 了。这是第一个标志着可以在生产环境中使用 KRaft(Kafka Raft)共识协议的版本。在几年的开发过程中,它先是在 Kafka 2.8 早期访问版本中发布,然后又在 Kafka 3.0 预览版本中发布。 阅读详情

kafka2.8之后不适用zookeeper进行leader选举,使用自己的controller进行选举

1.准备工作

准备三台服务器 192.168.3.110 192.168.3.111 192.168.3.112,三台服务器都要先安装好jdk1.8,配置好环境变量, 下载好kafka3.0.0二进制压缩包
解压后进入conf/kraft目录下,修改server.properties文件
在这里插入图片描述

2.修改配置文件

先修改110节点,主要修改下面的几个参数 node.id要唯一,跟leader选举有关系
在这里插入图片描述
数据存储位置也要改一下
在这里插入图片描述
其他111和112服务器也按照改一下,把node.id改一下,ip也要改成对应的ip

3.初始化集群
在其中一台服务器上执行下面命令生成一个uuid

sh kafka3.0.0/bin/kafka-storage.sh random-uuid

在这里插入图片描述
用该uuid格式化kafka存储目录,三台服务器都要执行以下命令

sh kafka3.0.0/bin/kafka-storage.sh format -t 5Wr3UWh9SPGFUfX1WQlzAA -c kafka3.0.0/config/kraft/server.properties

在这里插入图片描述
三台服务器都启动kafka

sh kafka3.0.0/bin/kafka-server-start.sh -daemon kafka3.0.0/config/kraft/server.properties

在这里插入图片描述
集群启动之后,创还能一个tipic测试,在哪一台服务器上创建都行

sh kafka3.0.0/bin/kafka-topics.sh --bootstrap-server localhost:9092 --create --topic kafka --partitions 3 --replication-factor 3

在这里插入图片描述
查看tipoc分区情况

sh kafka3.0.0/bin/kafka-topics.sh --bootstrap-server localhost:9092 --describe kafka

在这里插入图片描述
这时候把111节点kafka关掉,会重新选举,从ar里面第一个,并且在isr中存活的副本成为leader,112成为分区2的leader
在这里插入图片描述

kafak集群搭建-基于kRaft方式 阅读详情

相关推荐

Kafka 之 KRaft —— 配置、存储工具、部署注意事项、缺失的特性

目前,Kafka 在使用的过程当中,会出现一些问题。由于重度依赖 Zookeeper 集群,当Zookeeper 集群性能发生抖动时,Kafka 的性能也会收到很大的影响。因此,在 Kafka 发展的过程当中,为了解决这个问题,提供 KRaft 模式,来取消 Kafka 对 Zookeeper 的依赖。

流华追梦的专栏 2066

kafka集群之kraft模式

Kafka作为一种高吞吐量的分布式发布订阅消息系统,在消息应用中广泛使用,在Kafka2.8之前,Kafka强依赖zookeeper,这也导致当Zookeeper集群性能发生抖动时,Kafka的性能也会收到很大的影响。最新的3.5版本中,Kafka依然兼容zookeeper Controller,但Kafka Raft元数据模式,已经可以在不依赖zookeeper的情况下独立启动Kafka了。3、更有效的元数据传播——基于日志、事件驱动的元数据传播可以提高 Kafka 的许多核心功能的性能。

企业实战系列集 ●●● https://ximenjianxue.blog.youkuaiyun.com 6859

【kafka】Kafka-Kraft 集群模式

左图为 Kafka 现有架构,元数据在 zookeeper 中,运行时动态选举 controller,由controller 进行 Kafka 集群管理。右图为 kraft 模式架构(实验性),不再依赖 zookeeper 集群,而是用三台 controller 节点代替 zookeeper,元数据保存在 controller 中,由 controller 直接进行 Kafka 集群管理。这样做的好处有以下几个:Kafka 不再依赖外部框架,而是能够独立运行;

九师兄 435

【运维】Kafka高可用: KRaft(不依赖zookeeper)集群搭建

>本文主要介绍了 >- kafka raft集群架构: > 与旧架构的不同点,有哪些优势,哪些问题 > 架构成员有哪些,怎么规划。 > - 三节点集群安装、启动与测试

hiliang521的博客 6255

【云原生】Docker 搭建Kafka服务两种方式实战操作详解

Docker 搭建kafka服务两种方式操作详解

congge_study的博客 3594

麒麟系统下的多媒体革命:VLC在kylinV10上的性能优化与调试技巧

本文详细介绍了在麒麟kylinV10系统上优化VLC多媒体播放性能的实战技巧,特别针对飞腾FT-2000/4硬件平台。从源码编译调优到硬件加速配置,提供全面的性能提升方案,帮助开发者在国产操作系统上构建高效媒体播放环境。

weixin_29168675的博客 457

【kafka】kafka3.0-kRaft集群模式搭建

基于kafka3.X后的集群搭建方式主要分为两种,一种是基于zookeeper管理方式,一种是基于kraft模式,本文主要介绍kafka-kraft集群模式搭建。

yaotengjian的博客 3933

f_fs.c 初始化流程(进行中)

前言 之所以选择f_fs.c作为这系列的开始,因为usb在/driver/usb下面的内容实在太多太多,如果讲各种各样点会太分散了。所以决定切入点以实际使用为主,就是f_fs了,目前我了解这是做bulk裸传输使用的,具体的通信协议自己确定。 初始化部分 开始点从这个路径下说起, /drivers/usb/gadget/function/f_fs.c 然后f_fs.c第一个使用的是include/composite.h中的宏定义function #define DECLARE_USB_FUNCTION(_n

weixin_36406973的博客 1966

Kafka两种集群详解和搭建教程

advertised.listeners 表示这个Kafka节点的外网地址,这里分别配置为PLAINTEXT://kafka1:9092,PLAINTEXT://kafka2:9092和PLAINTEXT://kafka3:9092,需要注意的是这个配置项必须要配置为其所在服务器的外网地址,如果说你是在一台服务器上面配置Kafka并要通过外网访问,这个配置就需要配置为服务器外网地址(域名),并且都以PLAINTEXT://开头。所以说就算是只有一个Kafka节点在运行,这一个节点也可以称作一个集群。

z1ztai的博客 1062

【飞腾平台安装windows arm 11系统】

本文提供国内的百度网盘链接供下载使用:链接: https://pan.baidu.com/s/1_cftVdoX40k0M6zVTmFq8Q?3)快速迁移虚拟机技巧:如果是迁移已经安装好的虚拟机的使用场景,除了导出镜像外,也可直接复制安装好虚拟机的整个文件夹到指定的存储目录,选定好其中的任意qcow2文件后即可快速启动。可在飞腾软件平台点击网盘链接获取对应系统的deb包(麒麟和统信)以及phyvirt·app,下载地址:https://www.phytium.com.cn/developer/

firefly_cv的博客 8924

MPC模型预测控制实战:从理论到代码实现(Python示例)

本文详细介绍了MPC模型预测控制的实战应用,从理论到Python代码实现。通过构建系统模型、预测方程、优化问题及约束处理,展示了如何实现一个完整的MPC控制器。文章还提供了水箱液位控制的应用案例,帮助读者掌握MPC在工业控制中的实际应用。

weixin_42653691的博客 457

Kafka高可用 — KRaft集群搭建

Kafka Raft 是一种共识协议,它的引入是为了消除 Kafka 对 ZooKeeper 的元数据管理的依赖,被社区称之为 Kafka Raft metadata mode,简称 KRaft 模式。本文介绍了KRaft模式及三节点的 KRaft 集群搭建。

WonderThink的博客 8087

OpenClaw实战系列02:企业微信接入完全指南

本文详细介绍了如何将OpenClaw与企业微信对接,实现智能机器人功能。主要内容包括:企业微信侧创建智能机器人或自建应用,获取必要凭证和权限;OpenClaw侧安装配置企业微信插件,设置通信通道;完成双向验证并进行功能测试。文章提供了详细的配置步骤、常见问题排查方法和进阶玩法,帮助用户在30分钟内完成对接。关键点包括:确保URL可访问、Token一致、网关正常运行,以及针对不同部署环境(云服务器/内网)的配置差异。

PeterPan的博客 3811

Kafka——两种集群搭建详解

Kafka是一个能够支持高并发以及流式消息处理的消息中间件,并且Kafka天生就是支持集群的,今天就主要来介绍一下如何搭建Kafka集群。Kafka目前支持使用Zookeeper模式搭建集群以及KRaft模式(即无Zookeeper)模式这两种模式搭建集群,这两种模式各有各的好处,今天就来分别介绍一下这两种方式这个配置项用于指定Kafka服务器监听客户端连接的地址和端口,当 Kafka 服务器启动时,它将监听listeners配置项中指定的地址和端口,等待客户端的连接请求。一般情况下这个配置以或者。

吴声子夜歌的博客 1万+

【Davinci开发】:MPU(内存保护)

【Davinci开发】:MPU(内存保护)

2205

大数据分析案例-基于随机森林模型对北京房价进行预测

自1998年我国取消了福利分房的政策后,房地产市场迅速开展蓬勃起来。同时,随着社会经济的快速开展,居民的经济条件越来越好,住房条件也在不断地提升。而住房是人民根本生活的保障,也是-一个家庭最重要的资产,从一定的层面.上反映了一个家庭整体的生活水王,多方面的因素使得房地产行业在短时间开展成为我国的支柱产业之一;成为了切实关乎人民生活和利益的重要产业。然而,随着房地产行业的开展,问题也慢慢突显出来,房价一直居高不下成为了一个大问题。 作为国家的支柱产业,房地产的稳定发展关乎国计民生。近几年,房

m0_64336780的博客 8827

使用kafka还在依赖Zookeeper,kraft模式了解下

使用kafka还在依赖Zookeeper,kraft模式了解下

鸢尾_的博客 3129

Linux7 挂载 nfs 远程目录

每天一个 DBA 小知识,助你更进一步!

LuciferLiu_DBA 1万+

kafka kraft 生产环境搭建

kafka kraft 生产环境搭建。

qq_37746897的博客 1989

SAP B1中文培訓教材_SDK

公司内部培训资料,对开发工具 ,DIAPI, UIAPI,Add-ON有详细解说

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

kafka专题-1、集群安装

1、需要3个服务器节点,并且节点都安装了java82、组件版本。

Martin_rui的博客 1140

SIMATIC S7-1200, S7-1500 PID 控制[手册]

SIMATIC S7-1200, S7-1500 PID 控制[手册]

6.kafka3.x-kraft集群模式

kafka kraft

woshiwjma956的博客 859

visio安装包

Microsoft Office Visio 是一款专业的制图软件。利用经过更新的形状、协作工具和数据链接图表,创建专业级图表以简化复杂的信息。

【技海登峰】Kafka漫谈系列(四)基于Kraft模式实现Kafka集群部署与配置

【技海登峰】Kafka漫谈系列(四)基于Kraft模式实现Kafka集群部署与配置:本文主要介绍了Zookeeper模式与Kraft模式的区别与特点,并详细说明了如何基于Kraft模式搭建及配置Kafka集群环境,最后列举了一些常用的Kafka脚本命令及实践。

这里是阿安的博客 935

linux安装kafka

linux安装kafka

zhaozhao121a的博客 2333

【kafka】kafka单节点/集群搭建

本章节将分享不同版本的kafka单节点模式和集群模式搭建。在kafka2.8版本之前,需要依赖zookeeper服务,而在kafka2.8版本(包括)之后,可以不在依赖zookeeper服务。本章节将分kafka2.8版本之前的版本和之后的版本分别搭建单节点模式和集群模式。

margu_168的博客 1492

Kafka安装(实操+两种集群模式)

下载Kafka:Apache Kafka 解压Kafka tgz包 授权:chmod 777 kafka_2.12-3.1.0.tgz 解压:tar -zxvf kafka_2.12-3.1.0.tgz 重命名:mv kafka_2.12-3.1.0 kafka Kafka + Zookeeper 模式 修改Kafka的server.properties文件: cd kafka/config/ vim server.properties 节点ID,全局唯一:broker.id=

Jery.Peng的博客 2255
上一篇: 搭建Rocketmq dledger集群,springboot整合
下一篇: 使用MDC跟踪日志
livel_java
博客等级 码龄9年 2916粉丝 29原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值