【Kafka专栏】-Kafka从初始到搭建到应用

【Kafka专栏】windows搭建Kafka环境 & 详细教程(01) 【天工系列】windows搭建Kafka环境 & 详细教程,旨在帮助读者快速搭建kafka环境,以便后续项目开发 阅读详情

=========================================================

声明:由于不同平台阅读格式不一致(尤其源码部分),所以获取更多阅读体验!!

请关注本人博客园地址:http://www.cnblogs.com/LHWorldBlog/

个人网站地址:http://www.lhworldblog.com/

==========================================================


一、前述

Kafka是一个分布式的消息队列系统(Message Queue)。

kafka集群有多个Broker服务器组成,每个类型的消息被定义为topic。

同一topic内部的消息按照一定的key和算法被分区(partition)存储在不同的Broker上。

消息生产者producer和消费者consumer可以在多个Broker上生产/消费topic。

二、概念理解

Topics and Logs:

 

Topic即为每条发布到Kafka集群的消息都有一个类别,topic在Kafka中可以由多个消费者订阅、消费。

每个topic包含一个或多个partition(分区),partition数量可以在创建topic时指定,每个分区日志中记录了该分区的数据以及索引信息。如下图:

Kafka只保证一个分区内的消息有序,不能保证一个主题的不同分区之间的消息有序。如果你想要保证所有的消息都绝对有序可以只为一个主题分配一个分区。(分区内有序,一个主题topic不一定是有序的)

分区会给每个消息记录分配一个顺序ID号(偏移量),能够唯一地标识该分区中的每个记录。Kafka集群保留所有发布的记录,不管这个记录有没有被消费过,Kafka提供相应策略通过配置从而对旧数据处理。

 

 

 实际上,每个消费者唯一保存的元数据信息就是消费者当前消费日志的位移位置。位移位置是由消费者控制,即、消费者可以通过修改偏移量读取任何位置的数据。

 

Producers -- 生产者

 

指定topic来发送消息到Kafka Broker

Consumers -- 消费者

根据topic消费相应的消息

三、集群安装

 

集群规划:

Zookeeper集群共三台服务器,分别为:node1、node2、node3。

Kafka集群共三台服务器,分别为:node1、node2、node3。

 

安装Kafka:

tar zxvf kafka_2.10-0.9.0.1.tgz -C /opt/

mv kafka_2.10-0.9.0.1/ kafka

修改配置文件:config/server.properties

 

 

核心配置参数说明:

broker.id: broker集群中唯一标识id,0、1、2、3依次增长(broker即Kafka集群中的一台服务器)

注:

当前Kafka集群共三台节点,分别为:node1、node2、node3。对应的broker.id分别为0、1、2。

zookeeper.connect: zk集群地址列表

当前node1服务器上的Kafka目录同步到其他node2、node3服务器上:

scp -r /opt/kafka/ node2:/opt

scp -r /opt/kafka/ node3:/opt

 

修改node2、node3上Kafka配置文件中的broker.id(分别在node2、3服务器上执行以下命令修改broker.id)(当集群大时,使用此安装命令)

 

sed -i -e 's/broker.id=.*/broker.id=1/' /opt/kafka/config/server.properties

sed -i -e 's/broker.id=.*/broker.id=2/' /opt/kafka/config/server.properties

 

 启动kakka集群

 

A、启动Zookeeper集群。

B、启动Kafka集群。

分别在三台服务器上执行以下命令启动:

bin/kafka-server-start.sh config/server.properties

 

 测试

 

(kafka-topics.sh --help查看帮助手册)

创建topic话题:

bin/kafka-topics.sh --zookeeper node1:2181,node2:2181,node3:2181 --create --replication-factor 2 --partitions 3 --topic test

 

(参数说明:

--replication-factor:指定每个分区的复制因子个数,默认1个

--partitions:指定当前创建的kafka分区数量,默认为1个

--topic:指定新建topic的名称)

 

查看topic列表:

bin/kafka-topics.sh --zookeeper node1:2181,node2:2181,node3:2181 --list

 

查看“test”topic描述:

bin/kafka-topics.sh --zookeeper node1:2181,node2:2181,node3:2181 --describe --topic test

 

创建生产者:

bin/kafka-console-producer.sh --broker-list node1:9092,node2:9092,node3:9092 --topic test

 

创建消费者:

bin/kafka-console-consumer.sh --zookeeper node1:2181,node2:2181,node3:2181 --from-beginning --topic test

注:

查看帮助手册:

bin/kafka-console-consumer.sh help

【Kafka】kafka命令kafka-console-consumer.sh 1.概述 kafka-console-consumer.sh 脚本是一个简易的消费者控制台。该 shell 脚本的功能通过调用 kafka.tools 包下的 ConsoleConsumer 类,并将提供的命令行参数全部传给该类实现。 注意:Kafka 从 2.2 版本开始将 kafka-topic.sh 脚本中的 −−zookeeper 参数标注为 “过时”,推荐使用 −−bootstrap-server 参数。若读者依旧使用的是 2.1 及以下版本,请将下述的 --bootstrap-server . 阅读详情

相关推荐

【kafka专栏】不用zookeeper怎么安装kafka集群-最新kafka3.0版本

在kafka3.0中已经可以将zookeeper去掉,kafka集群不再必须依赖zookeeper,这为运维强度的下降提供了非常多的帮助。本文为大家介绍kafka3.0,不用zookeeper如何进行集群的安装。

字母哥博客 4316

Kafka常用命令之kafka-console-consumer.sh

  kafka-console-consumer.sh 脚本是一个简单的控制台 Consumer。此脚本的功能通过调用 ConsoleConsumer 实现。

生活,本身就是一场“知行合一”的修行。 13万+

【kafka专栏】针对kafka的简单介绍

Kafka 是由Linkedin公司开发的一款开源的用于实时流式数据处理的平台,也可以说是一款具有分布式、多分区、多副本、多生产者及消费者的消息队列中间件。

字母哥博客 2923

kafka的kafka-console-consumer.sh和kafka-console-producer.sh如何使用

本文聚焦于 Kafka 的 kafka - console - consumer.sh 和 kafka - consumer - perf - test.sh 两款消费者工具。先对比其功能用途、参数设置与输出结果,前者用于简单消息消费查看,参数简洁、输出消息内容;后者专注性能测试,参数丰富、输出性能指标。接着阐述使用 SCRAM - ACL 认证连接 Kafka 集群的方法,包括集群端开启认证、创建用户与配置密码、设置 ACL 策略,以及两款工具在连接时的具体配置

weixin_43940494的博客 1040

【kafka专栏】使用shell脚本快速搭建kafka单机版(含视频)

提供给大家一个快速搭建方式,讲解搭建一个kafka的单机版的过程,方便大家用于学习使用。

字母哥博客 1004

【kafka专栏】目录篇-入门到精通的修炼之道

本专栏主要是面向kafka开发者,介绍kafka的概念、架构、核心原理,并重点介绍开发方法。特点是:系统化、完整的向读者介绍面向kafka的开发体系!

字母哥博客 1145

kafka详解

Kafka:分布式消息中间件 Kafka 来做消息通信。 分布式消息系统 开发人员必备的技能

qq_45927587的博客 6891

ADS2020实战:手把手教你搭建交叉耦合VCO并分析相位噪声(附避坑指南)

本文以ADS2020软件为例,提供了交叉耦合压控振荡器(VCO)从原理图搭建到相位噪声分析的完整实战指南。详细讲解了核心器件选择、谐波平衡与瞬态仿真的关键设置,并重点剖析了相位噪声的仿真方法与优化方向。文中附有详细的避坑指南,帮助初学者和工程师高效完成VCO设计与仿真验证,避免常见错误。

p5l2m9n4o6q的博客 284

Kafka简单总结

1.Kafka 概述 为什么需要消息队列: 解耦. 冗余. 拓展性. 灵活性&峰值处理能力. 可恢复性. 顺序保证. 缓冲. 异步通信 Kafka架构 (1)Producer: 消息生产者, 向kafka broker 发消息的客户端 (2)Consumer: 消息消费者, 向kafka broker区小溪的客户端 (3)Topic: 可以理解为一个队列; (4)Consumer Group 是kafka实现消息广播和单播的手段, 一个topic 可以有多个GC, 一个GC中的多个成员不可以多次接受

weixin_43374749的博客 613

Windows 10 下 Nacos 3.0.2 单机版保姆级安装教程(含JDK 17配置与MySQL 8.0连接避坑)

本文提供Windows 10下Nacos 3.0.2单机版的详细安装教程,涵盖JDK 17配置、MySQL 8.0连接优化及生产级安全设置。通过步骤详解和常见问题解决方案,帮助开发者快速完成Nacos的安装与配置,确保服务发现与配置管理的高效运行。

weixin_29237635的博客 323

Office 365部分安装及同时安装Visio的方法

From MWeb Win版本的Office 365安装包默认安装所有组件,没有选择的页面,在安装Office 365后再安装下载的Visio 2016专业版时,会显示计算机上已经安装了即插即用Office,Visio不可安装,因此可以考虑使用Office部署工具来解决这两个问题。 下载安装Office365和Visio 下载Office部署工具 修改配置 部署工具使用方法...

weixin_30737363的博客 2万+

【Kafka专栏 05】一条消息的完整生命周期:Kafka如何保证消息的顺序消费

除了默认的哈希分区策略外,Kafka还允许使用自定义的分区器。这为用户提供了更大的灵活性,可以根据业务需求自定义分区逻辑,进一步确保消息的顺序性。Kafka通过其独特的分区机制、消费者组配置、生产者的分区策略以及监控与错误处理机制,共同保证了消息的顺序消费。在实际应用中,需要根据业务需求合理配置和使用这些机制,以确保消息的有序性。同时,也需要注意Kafka的性能和可扩展性,以满足大规模数据处理的需求。

weixin_40736233的博客 2789

腾讯混元3D世界模型2.0实战:从AI生成到Unity/UE引擎集成全指南

生成式AI正在重塑3D内容创作流程,其核心原理是通过大语言模型理解自然语言描述,并驱动多阶段生成流水线自动创建3D资产与场景。这项技术为游戏开发、虚拟仿真和数字孪生领域带来了革命性的效率提升,能够将传统需要数周的美术协作流程压缩至几分钟。在实际应用中,开发者需要掌握本地环境部署、模型推理优化以及生成资产与主流游戏引擎的集成工作流。本文以腾讯开源的混元3D世界模型为例,详细解析如何将AI生成的场景通过插件高效导入Unity和Unreal Engine,并针对光照烘焙、材质调整、性能优化等工程实践问题提供解决方

cnracht8153的博客 1398

Kafka是什么,以及如何使用SpringBoot对接Kafka

继上一次教大家手把手安装kafka后,今天我们直接来到入门实操教程,也就是使用SpringBoot该怎么对接和使用kafka。当然,在一开始我们也会比较细致的介绍一下kafka本身。那么话不多说,马上开始今天的学习吧

战斧的博客 2万+

Python开发MCP Client

全部例子只是MCP Client访问MCP Server的过程,那么这样其实就失去了MCP协议的创建的初衷,和大模型集成后才能发挥MCP最大的作用。

Criss@陈磊 2973

Cadence 开发合集【总目录】

专栏主要介绍Cadence原理图和PCB信号完整性电源完整性仿真相关的内容,更加注重实操,以帮助大家轻松上手并不断提高;在开始专栏的更新前,博主先列出专栏的大纲,以供大家参考。大家直接点击大纲中的蓝色标题即可轻松传送。 ............

fydar的博客 1万+

架构必备能力——kafka的选型对比及应用场景

经过上述的讲解,我们不难知道Kafka的应用场景非常广泛,你可以只把他当MQ组件,也可以使用它进行日志传输或流处理。它的特点也非常鲜明,就是强大的吞吐量、扩展性和可靠性。当然它与传统MQ组件对比,它在复杂场景下的使用会比较麻烦。但其在大数据领域应用广泛,比如经常作为 Hadoop 的数据源,将数据传输到 Hadoop 中进行存储和处理。当然,在实际选型中我们往往要考虑更多问题,除了明确需求和场景,还要考虑已用的技术栈情况、开发语言支持、版本更新情况。并没有哪一种框架是万金油。

战斧的博客 1万+

R语言机器学习算法实战系列(十三)随机森林生存分析构建预后模型 (Random Survival Forest)

本教程运用随机森林生存分析筛选与患者生存状态显著相关特征。该方法借随机森林这一强大机器学习算法,构建多棵决策树并集成结果,以提高生存分析准确性,识别关键生物标志物。接着,利用选定特征构建风险得分,将多个特征转化为单一数值,量化患者风险水平。之后,依据风险得分将患者分为高、低风险亚型,为临床治疗提供个性化指导。最后,通过分析时间依赖的 ROC 曲线评估模型长期预测能力。此曲线计算不同阈值下的真正例率与假正例率,在多个时间点评估,全面展现模型长期稳定性与准确性。

专注生信领域 2030

kafka专栏解读

kafka专栏解读

SO_zxn的博客 384

GEE高阶应用——如何绘制2000-2022年土地利用变化轨迹时序图

土地利用变化是指在一定时间范围内,土地利用类型和结构发生的变化。时序变化是指这种变化随时间的推移而发生的序列变化。土地利用变化轨迹的时序变化具体介绍如下:首先,土地利用变化轨迹的时序变化体现在土地利用类型的演变上。在过去的几十年里,随着人口的增加、经济的发展和城市化的推进,土地利用类型发生了显著的变化。传统的农田逐渐减少,而城市、工业、交通、居住等用地的面积不断扩大。同时,随着环境保护意识的提高,生态保护用地、森林、湿地等绿色用地的面积也在增加。

此星光明博客 1114

RU DOS版、EFI版32bit/64bit BIOS常用工具

DOS版、EFI版的RU工具,可用来查看IO、MEM、PCI、SMBIOS等资源。亲测在EFI SHELL下可用。

【Kafka专栏 03】Kafka幂等性:为何每条消息都独一无二?

Kafka的幂等性机制通过生产者端的PID和序列号、Broker端的缓存机制以及事务支持等方式实现了消息的幂等性保障。在使用Kafka时,我们可以根据实际需求选择是否启用幂等性机制,并合理配置相关参数以确保消息的准确性和一致性。

weixin_40736233的博客 1609

VB摄像头监控

该VB模块可对摄像头捕获的画面进行录像等,可在创建的窗口进行控制

【Kafka专栏 01】Rebalance漩涡:Kafka消费者如何避免Rebalance问题?

Kafka中的Rebalance是消费者组(Consumer Group)内部的一个重要机制,它指的是消费者实例之间重新分配Topic分区(Partition)的过程。在Kafka集群中,Rebalance是为了确保消费者组能够均匀地消费数据而设计的。然而,这个过程在某些场景下,如消费者实例的加入或离开、Topic或Partition数量的变化,甚至是网络波动,都可能导致不必要的触发。频繁的Rebalance会极大地增加消费者组的开销,影响整体的性能和稳定性.

weixin_40736233的博客 1851

汉书HE8,好用的汇编代码编写工具

汉书HE8,好用的汇编代码编写工具早期编写汇编代码所用功能强大

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

【Kafka从入门到放弃系列 零】Kafka看这一篇就够了

系统间的耦合高怎么办,我们如何不让一个服务过于庞大,一个好的方式就是依据具体的功能模块拆分服务,降低服务的耦合度,服务间的交互可以通过消息传递数据来实现,除此之外Kafka非常适合在线日志收集等高吞吐场景,kafka有更好的吞吐量,内置分区,副本和故障转移,这有利于处理大规模的消息,所以kafka被各大公司广泛运用于消息队列的构建: 消息队列模型-生产者消费者模型 Kafka基本概念和架构模型 Kafka工作流程和文件存储机制 生产者策略:分区策略、数据可靠性保证、故障转移机制 消费者策略:消费方式、分区

MaoLin Tian's Blog 6827
上一篇: Hbase篇--HBase中一对多和多对多的表设计
下一篇: 【Storm篇】--Storm中的同步服务DRPC
L先生AI课堂
L先生AI课堂 领域专家: 大数据技术领域 领域专家: 大数据技术领域
博客等级 码龄9年 678粉丝 216原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

L先生AI课堂

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值