【Kakfa集群】

kakfa集群配置 http://www.cnblogs.com/yinchengzhe/p/5123515.html kafka监控 https://blog.youkuaiyun.com/syc001/article/details/78633190 监控 http://kafka.apache.org/downloads.html kafka下载,最新的稳定版为2.1.1 https://www.apache.org/d... 阅读详情

我是🌟廖志伟🌟,一名🌕Java开发工程师🌕、📝Java领域优质创作者📝、🎉优快云博客专家🎉、🌹幕后大佬社区创始人🌹。拥有多年一线研发经验,研究过各种常见框架及中间件的底层源码,对于大型分布式、微服务、三高架构(高性能、高并发、高可用)有过实践架构经验。

🍊博主:java_wxid
🍊博主:Java廖志伟
🍊社区:幕后大佬



本文内容:


kafka

对于kafka来说,一个单独的broker意味着kafka集群中只有一个节点。要想增加kafka集群中的节点数量,只需要多启动几个broker实例即可。为了有更好的理解,现在我们在一台机器上同时启动三个broker实例。

集群搭建

首先,我们需要建立好其他2个broker的配置文件:

cp config/server.properties config/server-1.properties
cp config/server.properties config/server-2.properties

配置文件的需要修改的内容分别如下:
config/server-1.properties:

#broker.id属性在kafka集群中必须要是唯一
broker.id=1
#kafka部署的机器ip和提供服务的端口号
listeners=PLAINTEXT://106.14.132.94:9093   
log.dir=/usr/local/data/kafka-logs-1
#kafka连接zookeeper的地址,要把多个kafka实例组成集群,对应连接的zookeeper必须相同
zookeeper.connect=106.14.132.94:2181

config/server-2.properties:

broker.id=2
listeners=PLAINTEXT://106.14.132.94:9094
log.dir=/usr/local/data/kafka-logs-2
zookeeper.connect=106.14.132.94:2181

目前我们已经有一个zookeeper实例和一个broker实例在运行了,现在我们只需要在启动2个broker实例即可:

bin/kafka-server-start.sh -daemon config/server-1.properties
bin/kafka-server-start.sh -daemon config/server-2.properties

查看zookeeper确认集群节点是否都注册成功:

ls /brokers/ids

现在我们创建一个新的topic,副本数设置为3,分区数设置为2:

bin/kafka-topics.sh --create --zookeeper 106.14.132.94:2181 --replication-factor 3 --partitions 2 --topic my-replicated-topic

查看下topic的情况

 bin/kafka-topics.sh --describe --zookeeper 106.14.132.94:2181 --topic my-replicated-topic

以下是输出内容的解释,第一行是所有分区的概要信息,之后的每一行表示每一个partition的信息。
leader节点负责给定partition的所有读写请求,同一个主题不同分区leader副本一般不一样(为了容灾)
replicas 表示某个partition在哪几个broker上存在备份。不管这个几点是不是”leader“,甚至这个节点挂了,也会列出。
isr 是replicas的一个子集,它只列出当前还存活着的,并且已同步备份了该partition的节点。

现在我们向新建的 my-replicated-topic 中发送一些message,kafka集群可以加上所有kafka节点:

bin/kafka-console-producer.sh --broker-list 106.14.132.94:9092,106.14.132.94:9093,106.14.132.94:9094 --topic my-replicated-topic

my test msg 1
my test msg 2

现在开始消费:

bin/kafka-console-consumer.sh --bootstrap-server 106.14.132.94:9092,106.14.132.94:9093,106.14.132.94:9094 --from-beginning --topic my-replicated-topic

my test msg 1
my test msg 2

现在我们来测试我们容错性,因为broker1目前是my-replicated-topic的分区0的leader,所以我们要将其kill

ps -ef | grep server.properties
kill 14776

现在再执行命令:

bin/kafka-topics.sh --describe --zookeeper 106.14.132.94:9092 --topic my-replicated-topic

我们可以看到,分区0的leader节点已经变成了broker 0。要注意的是,在Isr中,已经没有了1号节点。leader的选举也是从ISR(in-sync replica)中进行的。
此时,我们依然可以 消费新消息:

bin/kafka-console-consumer.sh --bootstrap-server 106.14.132.94:9092,106.14.132.94:9093,106.14.132.94:9094 --from-beginning --topic my-replicated-topic

my test msg 1
my test msg 2

查看主题分区对应的leader信息:

get /brokers/topics/my-relicated-topic/partitions/0/state

kafka将很多集群关键信息记录在zookeeper里,保证自己的无状态,从而在水平扩容时非常方便。

集群消费

log的partitions分布在kafka集群中不同的broker上,每个broker可以请求备份其他broker上partition上的数据。kafka集群支持配置一个partition备份的数量。针对每个partition,都有一个broker起到“leader”的作用,0个或多个其他的broker作为“follwers”的作用。leader处理所有的针对这个partition的读写请求,而followers被动复制leader的结果,不提供读写(主要是为了保证多副本数据与消费的一致性)。如果这个leader失效了,其中的一个follower将会自动的变成新的leader。

Producers

生产者将消息发送到topic中去,同时负责选择将message发送到topic的哪一个partition中。通过round-robin做简单的负载均衡。也可以根据消息中的某一个关键字来进行区分。通常第二种方式使用的更多。

Consumers

传统的消息传递模式有2种:队列( queue) 和(publish-subscribe)

  1. queue模式:多个consumer从服务器中读取数据,消息只会到达一个consumer。
  2. publish-subscribe模式:消息会被广播给所有的consumer。

Kafka基于这2种模式提供了一种consumer的抽象概念:消费组(consumer group)。

  • queue模式:所有的consumer都位于同一个consumer group 下。
  • publish-subscribe模式:所有的consumer都有着自己唯一的consumer group。

kafka

上图说明:由2个broker组成的kafka集群,某个主题总共有4个partition(P0-P3),分别位于不同的broker上。这个集群由2个Consumer Group消费, A有2个consumer instances ,B有4个。通常一个topic会有几个consumer group,每个consumer group都是一个逻辑上的订阅者( logical subscriber )。每个consumer group由多个consumer instance组成,从而达到可扩展和容灾的功能。


总结

以上就是今天要讲的内容,还希望各位读者大大能够在评论区积极参与讨论,给文章提出一些宝贵的意见或者建议📝,合理的内容,我会采纳更新博文,重新分享给大家。

🙏四连 关注🔎点赞👍收藏⭐️留言📝

感谢大家的支持,用心写博文分享给大家,你的支持(🔎点赞👍收藏⭐️留言📝)是对我创作的最大帮助。
🍊微信公众号:南北踏尘
🍊主页地址:java_wxid
🍊社区地址:幕后大佬

给读者大大的话

我本身是一个很普通的程序员,放在人堆里,除了与生俱来的🌹盛世美颜🌹、所剩不多的发量,就剩下180的大高个了。就是我这样的一个人,默默坚持写博文也有好多年了,有句老话说的好,🌕牛逼之前都是傻逼式的坚持🌕。希望自己可以通过大量的作品,时间的积累,个人魅力、运气和时机,可以打造属于自己的🌟技术影响力🌟。同时也希望自己可以成为一个🎄懂技术🎄,🎄懂业务🎄,🎄懂管理🎄的综合型人才,作为项目架构路线的总设计师,掌控全局的🌕团队大脑🌕,技术团队中的🍊绝对核心🍊是我未来几年不断前进的目标。


提示:以下都是资源分享,求个一键三连。

面试资料

福利大放送,🎉欢迎关注🔎点赞👍收藏⭐️留言📝,拜托了🙏,这对我真的很重要。
点击:面试资料
提取码:2021

200套PPT模板

福利大放送,🎉欢迎关注🔎点赞👍收藏⭐️留言📝,拜托了🙏,这对我真的很重要。
点击:200套PPT模板
提取码:2021

提问的智慧

福利大放送,🎉欢迎关注🔎点赞👍收藏⭐️留言📝,拜托了🙏,这对我真的很重要。
点击:提问的智慧
提取码:2021

Java开发学习路线

名称链接
JavaSE点击: JavaSE
MySQL专栏点击: MySQL专栏
JDBC专栏点击: JDBC专栏
MyBatis专栏点击: MyBatis专栏
Web专栏点击: Web专栏
Spring专栏点击: Spring专栏
SpringMVC专栏点击: SpringMVC专栏
SpringBoot专栏点击: SpringBoot专栏
SpringCould专栏点击: SpringCould专栏
Redis专栏点击: Redis专栏
Linux专栏点击: Linux专栏
Maven3专栏点击: Maven3专栏
Spring Security5专栏点击: Spring Security5专栏
更多专栏更多专栏,请到 java_wxid主页 查看

P5学习路线图
p5学习路线图P6学习路线图
P6学习路线图P7学习路线图
P7学习路线图P8学习路线图
P8学习路线图

以上四张图详细介绍了作为Java开发工作者所需要具备的知识技能,同学们学废了嘛,有想法系统学习的同学可以私聊我,🎉欢迎关注🔎点赞👍收藏⭐️留言📝。
🍊博主:java_wxid
🍊博主:Java廖志伟
🍊社区:幕后大佬

flink 1.9 kakfa 1.02 我写了个最简单的案例 在standalone集群跑 一直报错 Caused by: org.apache.flink.streaming.runtime.tasks.StreamTaskException: Cannot instantiate user function. at org.apache.flink.streaming.api.graph.StreamConfig.getStreamOperatorFactory(StreamConf... 阅读详情

相关推荐

【kafka】kafka的集群部署和测试&zookeeper的集群部署

文章目录一、下载安装包及解压二、修改配置文件三、把配置文件发给其他两个节点四、验证环境(三台都执行)五、启动命令六、启动命令行之后1、创建一个topic的命令2、创建一个生产者的命令3、创建一个消费者的命令4、删除一个topic5、查看topic的描述信息六、测试发送消息消费消息七、出现的问题: 一、下载安装包及解压 解压文件 tar -zxvf kafka_2.11-1.0.0.tgz -C...

废物点心的博客 340

zookeeper学习(四):配置zookeeper集群节点的操作

1.zookeeper的节点就是一个树形结构。 2.对节点的操作 1、使用 ls 命令来查看当前 ZooKeeper 中所包含的内容: ls / 2、创建一个新的 znode ,使用 create /zk myData 。这个命令创建了一个新的 znode 节点“ zk ”以及与它关联的字符串: create /zk "myData“ 3、我们运行 get 命令来确认 znode 是否包含我...

流的博客 1445

zookeeper集群命令

可以通过JPS指令,这个指令是查看当前活动的java进程。 对于zookeeper来说,如果有Quoroum……,就证明Zk服务是开启的 但该命令只能查看本机机器状态。

【Kafka】kafka集群实战

文章目录1. 集群部署1.1 验证集群的容错性2. 集群消费 1. 集群部署 对于kafka来说,一个单独的broker意味着kafka集群中只有一个节点。要想增加kafka集群中的节点数量,只需要多启动几个broker实例即可。为了有更好的理解,现在我们在一台机器上同时启动三个broker实例。 首先,我们需要建立好其他2个broker的配置文件: cp config/server.properties config/server-1.properties cp config/server.propert

m0_45406092的博客 479

RS485信号测量避坑指南:示波器抓包常见问题与波形分析技巧

本文详细解析了RS485信号测量中的常见问题与解决方案,包括差分信号测量基础、终端电阻配置、共模干扰处理等关键技巧。通过实测波形案例和优化建议,帮助工程师有效提升RS485通信的可靠性和抗干扰能力,适用于工业自动化、远程监测等场景。

kappa的博客 617

从零到一:移远EC200UCN_LA OpenCPU开发中的‘避坑’实战指南

本文详细介绍了移远EC200UCN_LA 4G通信模块的OpenCPU开发实战指南,涵盖开发环境搭建、项目构建、通信接口开发、调试技巧及固件升级等关键环节。通过避坑经验和实用技巧,帮助开发者高效完成二次开发,提升4G通信模块的应用开发效率。

weixin_29159711的博客 508

Java配置33-配置Kafka分布式集群

目录 1.服务器环境 2.安装JDK 3.安装zookeeper 1)上传安装包 2)修改配置文件 3)创建目录和myid 4)启动zookeeper并查看状态 4.安装kafka 1)上传安装包 2)修改配置文件 3)创建目录 4)启动kafka 5)测试kafka集群 1.服务器环境 系统版本:Red Hat Enterprise Linux Server r............

JustDI0209的博客 1590

Xilinx Vivado LDPC IP core,TSN IP core. 各种IP core

Xilinx Vivado LDPC IP core,TSN IP core. 各种IP core

qq_1432825237的博客 3992

Java实现kafka消息发送(仅做入门)

1. 小声哔哔 kafka消息发送有三种方式,发送并忘记、同步发送和异步发送,下面直接使用代码演示,当然这里的实现代码仅做入门学习参考,真正的生产环境必然涉及多线程生产消息,配置统一规划等情况。 2. 发送并忘记 首先写一个简单的消费者代码作为结果验证: package com.coline.middleware.kafka.consumer; import org.a...

左撇子帕布 6659

深度探索:机器学习中的Label Propagation算法(基于图论的半监督学习方法)原理及其应用

Label Propagation算法作为一种基于图论的半监督学习方法,有效地利用了数据的内在结构和未标注样本信息,降低了对标注数据的依赖。尽管存在对初始标签敏感、易陷入局部最优等局限性,但在图像分类、社交网络分析、生物信息学等领域展现了良好的应用前景。未来的研究方向可能包括:探索更稳健的标签初始化策略、设计抗噪声和异常值的相似度计算方法、结合深度学习模型提升模型表示能力等。随着半监督学习理论和技术的不断发展,Label Propagation及其变种算法将在更大范围内推动机器学习在标注数据有限情况下的应用

qq_51320133的博客 2283

【AUTOSAR-COM】-10.5-APP CAN Frame/PDU“发送周期不准“的影响因素

一个Tx PDU在COM模块中的数据流; Tx APP CAN Frame/PDU"发送周期不准"的影响因素;

「汽车电子助手」的博客 2390

Kakfa集群部署及主题创建

本文介绍了在Windows环境下搭建Kafka集群的方法,重点讲解了Kafka的核心概念和配置流程。内容包括:1)通过复制安装包创建3个Kafka节点和1个Zookeeper节点;2)配置各节点的ID、端口和数据存储路径;3)封装批处理脚本简化集群启动流程;4)详解Kafka集群核心概念,包括Broker、Controller选举机制、主题(Topic)、分区(Partition)和副本(Replication)等;5)演示使用Java API创建主题的过程。文章旨在帮助开发者在Windows环境下快速搭建

qq_63525426的博客 1196

【漏洞复现】Palo Alto Networks PAN-OS GlobalProtect 命令注入漏洞 CVE-2024-3400

在特定PAN-OS版本和不同功能配置下,未经身份验证的攻击者可能利用此漏洞在防火墙上以root权限执行任意代码。技术文章仅供参考,任何个人和组织使用网络应当遵守宪法法律,遵守公共秩序,尊重社会公德,不得利用网络从事危害国家安全、荣誉和利益,未经授权请勿利用文章中的技术资料对任何计算机系统进行入侵操作。本文所提供的工具仅用于学习,禁止用于其他!poc如下,注入点在Cookie中,将其中的DNSlog地址替换为你的dnslog地址,借助DNSLOG来复现,可以使用http://dnslog.pw/

失心少年 1227

Kakfa集群搭建

[size=medium] 先来整体熟悉下Kafka的一些概念和架构 (一)什么是Kafka? Kafka是由LinkedIn开发并开源的一个分布式消息系统,因其分布式和高吞吐率被广泛应用,现在已经在Hadoop和Spark等大数据的生态系统中成为一个必不可少的生态组件,可与各种计算模型,如离线计算,实时计算,流计算对接数据。 (二)为什么要用Kafka? 1,以时间复杂...

三劫散仙 235

Python二级考试题目及答案解析(含刷题软件)

答案:A 解析:print()函数可以在屏幕上输出指定的字符串或变量,input()函数用于从键盘获取用户输入,int()函数可以将指定的字符串或浮点数转换为整数,float()函数可以将指定的字符串或整数转换为浮点数。答案:A 解析:int()函数可以将字符串转换为整数,float()函数可以将字符串转换为浮点数,str()函数可以将任意类型的变量转换为字符串,bool()函数可以将任意类型的变量转换为布尔值。

YOLO 1万+

Microsemi Libero系列教程(六)——Identify片上逻辑分析仪的使用

文章目录FPGA如何进行在线调试关于Microsemi片上逻辑分析仪FPGA片上逻辑分析仪原理预期效果0.准备一个创建好的Libero工程1.新建identify工程,并添加想要监测的信号2.管脚分配,编译下载3.设置触发类型4.IICE逻辑分析仪核资源占用 系列教程:Microsemi Libero系列教程 FPGA如何进行在线调试 对于嵌入式系统来说,如单片机,进行硬件级程序调试时,通常采用的是JLink/ST-Link调试器,在线调试的方式来获取程序实时运行的状态,可以观察程序运行流程、各种变量的值

whik1194的博客 1万+

Zookeeper、kakfa集群实践

kafka集群主要分为两步Zookeeper集群和kafka集群下面先讲。

BO688的博客 189

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

Kakfa集群安装和部署

1. 安装启动kafka 1.1. 使用Docker方式进行安装 1.1.1. 下载镜像 docker pull wurstmeister/zookeeper docker pull wurstmeister/kafka 1.1.2. 启动 启动Zookeeper容器 docker run -d --name zookeeper -p 2181:2181 -t wurstmeister/zookeeper 1.1.2.1. 启动kafka容器,其中192.168.59.101是宿主机的IP地址 do

MSDA的专栏 1465

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

k8s部署zookeeper/kakfa集群

问题: 在制作好zk的docker镜像后,测试docker直接运行起3个实例,zk集群选举建立都是正常的,但是,通过k8s部署后,发现zk集群选举无论如何都不能成功,各种google都无法解决,最终通过headless service这一方式完美解决,在此记录一下解决过程。 首先,贴一下manifest.yaml文件,整合成了一个完整的yaml文件: --- kind: Deployment...

ywq935的博客 1万+

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

kakfa-1:了解架构、集群部署、命令、生产消费代码

解耦允许你独立的扩展或修改两边的处理过程,只要确保它们遵守同样的接口约束。冗余消息队列把数据进行持久化直到它们已经被完全处理,通过这一方式规避了数据丢失风险。许多消息队列所采用的"插入-获取-删除"范式中,在把一个消息从队列中删除之前,需要你的处理系统明确的指出该消息已经被处理完毕,从而确保你的数据被安全的保存直到你使用完毕。扩展性因为消息队列解耦了你的处理过程,所以增大消息入队和处理的频率是很容易的,只要另外增加处理过程即可。灵活性 & 峰值处理能力。

我的博客 1191

记一次Kakfa消费者集群的生产事故

1、手动提交 会有分片问题

Carson073的博客 464

kakfa消费者组集群化原理

kakfa消费者组集群化原理kafka怎样选出leader消费者?一、为每个消费者组选择出唯一一个协调者从源码看看怎样选出唯一的协调者总结二、协调者从消费者组中选出leader消费者这个leader消费者的职责是什么?leader如何和非leader节点进行通信?为什么采取这种机制?总结 kafka怎样选出leader消费者? 本文主要介绍 kafka consumer组是通过什么机制,选择出leader和follower消费者? 一、为每个消费者组选择出唯一一个协调者 从源码看看怎样选出唯一的协调者 每

spark_dev的博客 281

docker搭建zk+kafka+flume+es+kibana日志处理系统

使用三台服务器 zookeeper集群搭建 每台服务器创建挂载目录 mkdir -p /home/docker/zk-test/data mkdir -p /home/docker/zk-test/logs 分别启动三台服务器zk docker run --name zk-test --net=host --restart always -v /home/docker/zk-test:/da...

Sumail_Gong的博客 1221

EL(F)K集群日志搜集-Flume,Kakfa,ZK,ES,Kibana部署文档

ELK解释:ELK就是ElasticSearch + LogStash + Kibana的缩写统称。应用于互联网 部署集群的日志搜集与管理。 因公司需要,本公司用 flume替换了logstash, 这篇文章也可以叫做 EFK。 原理大同小异。 下面详细说明各个部件的安装部署和集成:     物理机部署分配 3台物理机上部署 Zookeeper 3个,Flume 3个,Kafka 3个...

点滴记录,积流成河! 2876

【Kafka精进系列003】Docker环境下搭建Kafka集群

通过本文,你将了解到: (1)如何使用Docker进行Kafka集群搭建; (2)如何使用Docker-compose一键构建Kakfa单节点和集群服务; (3)使用`docker-compose down -v`解决docker-compose初始化创建topic时无法创建多分区问题记录;

noaman_wgs的博客 6313

zookeeper集群+Kafka集群

zookeeper是一个开源的,为分布式架构提供协调服务的APACHE的项目保存元数据zookeeper的工作机制观察者模式设计的分布式服务器管理架构负责存储和管理元数据,记录集群的变化。保存集群变化的信息。zookeeper的特点:1、在集群中分为领导者和追随者,组成的集群。2、只要半数以上的节点正常工作,整个zookeeper就可以正常工作。zookeeper在部署时一般选择奇数台。3、全局数据一致,每个zookeeper不论领导者还是追随者,在访问他们的数据时都是一致的。

yexiaoyex的博客 814
上一篇: 【Kafka主题/分区/日志/消费顺序】
下一篇: 【Java客户端访问Kafka】
Java程序员廖志伟
Java程序员廖志伟 优质创作者: Java技术领域 优质创作者: Java技术领域 领域专家: 后端开发技术领域 领域专家: 后端开发技术领域
博客等级 码龄8年 2万+粉丝 1902原创
评论 2
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Java程序员廖志伟

赏我包辣条呗

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值