Kafka学习笔记

Kafka学习笔记(一)Kafka基准测试、幂等性和事务、Java编程操作Kafka Kafka学习笔记(一)Linux环境基于Zookeeper搭建Kafka集群、Kafka的架构在HTTP/1.1中对幂等性的定义是:一次和多次请求某一个资源,对于资源本身应该具有同样的结果(网络超时等问题除外)。也就是说,任意多次请求执行,对资源本身所产生的影响均与一次请求执行的影响相同。实现幂等性的关键就是服务端可以区分请求是否重复,过滤掉重复的请求。唯一标识:要想区分请求是否重复,请求中就得有唯一标识。例如支付请求中,订单号就是唯一标识。记录下已处理过的请求标识。 阅读详情

Kafka学习笔记

参加拉勾教育大数据训练营课程笔记

1. 介绍

2. 架构

3. 核心概念

心跳

4. 环境搭建

参考集群安装文档。

4. 生产与消费

5. 集成Kafka到SpringBoot

6. 生产者 - 数据生产流程

6.1 生产者原理

6.2 生产者参数

6.3 序列化和反序列化

6.4 分区器

6.5 拦截器 (producer intercepter, consumer intercepter)

7. 消费者

7.1 消费组

7.2 消费者参数

7.3 订阅

7.4 位移提交

_consumer_offsets

7.5 位移管理

7.6 消费组偏移量

7.7 分区分配策略(partition assignor)

RangeAssignor

RoundRobinAssignor

StickyAssignor

自定义分配策略

import org.apache.kafka.clients.consumer.internals.AbstractPartitionAssignor;
import org.apache.kafka.common.TopicPartition;
import java.util.*;
public class MyAssignor extends AbstractPartitionAssignor {
}
properties.put(ConsumerConfig.PARTITION_ASSIGNMENT_STRATEGY_CONFIG, MyAssignor.class.getName());

再平衡

7.8 消费者拦截器

7.9 消费组管理

8. 管理

主题管理

分区副本分配

分区副本机制

Leader分区选举

分区重分配(扩展)

kafka-reassign-partitions.sh --zookeeper node1:2181/kafka --topics-to-move-json-file topics-to-move.json --broker-list "0,1" --generate
kafka-reassign-partitions.sh --zookeeper node1:2181/kafka --topics-to-move-json-file topics-to-move.json --broker-list "0,1" --execute
kafka-reassign-partitions.sh --zookeeper node1:2181/kafka --topics-to-move-json-file topics-to-move.json --broker-list "0,1" --verify

偏好分区leader

按初始设置的relica assignment重新分配。创建topic时指定leader, follower。

# 三台机器,三个分区,
# 0:1:2 0分区为leader副本,1和2是follower副本
kafka-topics.sh --zookeeper node1:2181/kafka --create --topic demo3 --replica-assignment "0:1:2,1:0:2,2:1:0"

# 当一台机器宕机,分区再平衡
# 恢复宕机机器,执行kafka-peferred-replica-election.sh,将恢复到创建topic时指定的leader
kafka-peferred-replica-election.sh --zookeeper node1:2181/kafka

也可以指定偏好的配置文件

kafka-peferred-replica-election.sh --zookeeper node1:2181/kafka --path-to-json-file preferred-replica-election.json
{
    "partitions":[
        {
            "topic": "foo", "partition": 1
        },
        {
            "topic": "bar", "partition": 2
        }
    ]
}

分区副本因子

一个副本一台服务器,使用kafka-reassign-partitions.sh设置

{
    "version":1,
    "partitions":[
        {"topic":"tp_re_02","partition":0,"replicas":[0,1]},
        {"topic":"tp_re_02","partition":1,"replicas":[0,1]},
        {"topic":"tp_re_02","partition":2,"replicas":[1,0]}
    ]
}
kafka-reassign-partitions.sh --zookeeper node1:2181/kafka --topics-to-move-json-file partition.json --broker-list "0,1" --generate
kafka-reassign-partitions.sh --zookeeper node1:2181/kafka --topics-to-move-json-file partition.json --broker-list "0,1" --execute
kafka-reassign-partitions.sh --zookeeper node1:2181/kafka --topics-to-move-json-file partition.json --broker-list "0,1" --verify

主题参数

KafkaAdminClient

151 9824 0134

9. 物理存储

稀疏索引构建

*.index - 消息偏移量对物理地址映射

*.timeindex - 消息偏移量时间映射

*.log - 第一条消息的偏移量为文件名

leader-epoch-checkpoint

索引文件切割

日志索引

Log Segment

日志清理

零拷贝机制

mmap,sendfile实现零拷贝

10. 事物

幂等性(idempotence)

11. 集群控制器(broker)

12. 一致性

13. 消息重复

延迟队列

重试队列

监控指标(JMX)

编程获取监控指标

监控工具-Kafka Eagle

告别黑盒:深入解析西部数据UFS芯片的44个SMART健康参数(附高通XBL读取源码) 本文深入解析西部数据UFS芯片的44个SMART健康参数,结合高通XBL启动加载层源码,提供了一套完整的健康状态诊断方法论。从SCSI命令层封装到数据结构映射,详细介绍了如何在高通平台早期启动阶段捕获UFS健康状态,帮助工程师实现预测性维护。 阅读详情

相关推荐

ISP之LSC(Lens Shading Correction)

LSC - Lens Shading Correction即镜头暗影校正。

IQ_WXY的博客 5102

Kafka学习笔记完整

文章目录kafka的基本认识一、什么是Kafka1、设计目标二、Kafka的应用场景1、行为跟踪2、日志收集系统3、消息系统三、Kafka的架构四、Kafka名词解释1、Broker2、Producer3、Consumer4、Topic5、Partition6、Consumer Group7、Topic & Partition8、Replication-factorkafka 安装部署+基本操作一、单机1、下载kafka2、启动二、集群1、修改配置2、启动三、基本操作1、创建topic2、查看top

kylin 4064

《哥谭神话-工程篇》02.Palantir的Ontology层(语义层) -企业操作系统的大脑

Ontology(语义层) 是Foundry 的核心层。Ontology 位于集成到 Foundry 中的数字资产(数据集和模型)之上,并将其连接到现实世界的对应物,从工厂、设备和产品等物理资产到客户订单或金融交易等概念。本篇将详细拆解Ontology(语义层)。

902

【HBZ分享】Kafka中日志清理策略

【HBZ分享】Kafka中日志清理策略

a645293829的博客 1694

U8二次开发CO-基于Net8调用COM对象

本文章介绍的U8二次开发CO技术,就是基于微软COM组件技术,使用微软开源的编程框架Net6/7/8/9来调用U8的COM组件,完成基本的登录认证,工作流处理,数据库操作等。

pccai的博客 5510

20 CVPR Learning 3D Semantic Scene Graphs From 3D Indoor Reconstructions 学习笔记

3RScan是大规模真实世界的室内场景,特点是对478个自然改变的室内环境在不同的时间帧进行了1482 RGB-D scans,每一个scene都包括了一些位置被改变的物体。它和ScanNet数据集的区别主要在于ScanNet中的每一个采样环境都不相同,但是3RScan中存在采样环境相同但物体的位置不同的场景。Scene Graph Annotations 则是在3RScan的基础上给物体加入了场景图需要的关系、物体特征和类别标注,同时对3RScan进行了扩展,以此形成了场景图数据。

weixin_43508459的博客 1838

拉勾教育第五期学习笔记

CSS核心样式、HTML5 + CSS3新特性 css常用样式-font-weight 粗细font-weight 作用:设置文字是否加粗显示; 属性名:font-weight,属于font属性的一个单一属性。 属性值有两种方式:单词类型、数字类型。 单词类型 属性值: 属性值 说明 normal 默认值,定义标准的字体

m0_56302303的博客 465

【2025国赛A题】A题烟幕干扰弹的投放策略思路+代码+论文

【2025国赛A题】A题烟幕干扰弹的投放策略思路+代码+论文

订阅付费专栏Matlab(奶茶价版),可赠送奶茶价版付费专栏指定代码1份; 867

大数据:Kafka重要概念

1kafka的iSR,AR代表什么 kafka需要所有的iSR全部同步完成,则表示同步成功 AR:分区的所有副本 1、AR 在Kafka中维护了一个AR列表,包括所有的分区的副本。AR又分为ISR和OSR。 AR = ISR + OSR。 AR、ISR、OSR、LEO、HW这些信息都被保存在Zookeeper中。 1.ISR ISR中的副本都要同步...

wangjunji34478的专栏 599

Unity中的Timeline

Timeline与动画系统类似,但是它可以针对多个物体做出一系列多个动画,它可以创建多个轨道,对象激活与隐藏轨道,动画轨道,声音轨道等。每个轨道都可以单独编辑,轨道内的不同资源可以排列并且融合

L的博客 1万+

YOLOv改进 | YOLOv11添加WTConv小波卷积,能够更有效地捕捉局部和全局特征

在计算机视觉目标检测领域,YOLO(You Only Look Once)系列算法凭借“单阶段检测”的高效性(一次前向传播同时完成目标定位与分类),已成为工业界与学术界的主流选择。从YOLOv1到YOLOv11,算法持续迭代优化,在速度与精度之间寻求平衡,广泛应用于自动驾驶、智能安防、工业质检等场景。为解决上述问题,本文提出一种基于,将输入特征图分解为不同频率的子带(低频全局信息与高频局部细节),并分别通过卷积操作提取局部与全局特征,最后融合多尺度特征,从而更有效地捕捉目标的局部细节与全局结构。

走向CTO的路上... 1252

kafka学习笔记

kafka学习笔记 待补充。。。。

It_BeeCoder的博客 801

【2026年阿里巴巴集团暑期实习- 4月25日-算法岗-第二题- 矩阵计数】(题目+思路+Java&C++&Python解析+在线测试)

摘要: 给定两个非负整数序列a和b,构造n×m矩阵C,其中C[i][j]=a[i]×b[j]。统计矩阵中元素≥k的数量。解法是先对数组b排序,然后对于每个a[i],若k=0则直接累加m;若a[i]=0且k>0则跳过;否则计算需要的最小b[j]值,在排序后的b中使用二分查找确定满足条件的元素数量。时间复杂度为O((n+m)log m),空间复杂度O(1)。代码实现了排序和二分查找的高效组合。

m0_73659489的博客 67

Kafka 学习笔记

Kafka 学习笔记

xiaotanke 1334

温度PID控制PLC程序

温度PID稳定控制程序,适用于欧姆龙PLC,对其他PLC也具有很大参考价值

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

Kafka学习笔记-开源博客

Kafka学习笔记

weixin_38312502的博客 159

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

Kafka框架学习笔记 尚硅谷

Kafka框架学习笔记 尚硅谷 因为本人不是大数据方向的 但是公司一个项目用到了kafka 我就学习一下 如果笔记有什么不对的地方 敬请谅解 文章目录Kafka框架学习笔记 尚硅谷因为本人不是大数据方向的 但是公司一个项目用到了kafka 我就学习一下 如果笔记有什么不对的地方 敬请谅解Kafka概述定义传统消息队列的应用场景使用消息队列的好处消息队列的Kafka基础框架构Kafka快速入门安装操作命令命令行控制台生产者消费者测试数据日志分离Kafka高级工作流程文件存储机制Kafka生产者分区策略生产

weixin_43691773的博客 2753

大中型超市收银系统(可直接运行)

光步前台收银系统系统功能:商品销售、商品退货、挂单、收银员权限、会员销售、单品取消、整单取消、商品查询、脱机销售、脱机数据上传,基本资料下载,开钱箱、小票打印、收款结算,支持多币种付款方式(现金、储值卡、礼券、微信等),支持多种促销。运行环境:.net 4.0登陆信息用户名:1001 密码:123456内置商品信息,商品编码可输入00001000 - 00010000,测试效果相关功能键F5 结算 F9挂单 F11商品查询 F8退货 Insert单品取消 Del整单取消 F12开钱箱F2 会员 Ctrl+Z退出系统 Home 锁屏 相关源码待公开

kafka必知必会学习笔记

12.Kafka 的那些设计让它有如此高的性能?9."消费组中的消费者个数如果超过 topic的分区,那么就会有消费者消费不到数据"这句话是否正确?8.聊—聊你对 Kafka 的 Log Retention 的理解9.聊一聊你对 Kafka 的 Loq Compaction 的理解。13.Kafka 的旧版 Scala 的消费者客户端的设计有什么缺陷”?8.Kafka 的旧日版Scala 的消费者客户端的设计有什么缺陷?14.消费再均衡的原理是什么?6,Kafka 生产者客户端的整体结构是什么样子的?

weixin_43507410的博客 409

Kafka学习笔记1(千峰教育)

这个主题用来存放消费者消费某个主题的偏移量,因为每个消费者都会自己维护消费的主题的偏移量,也就是说每个消费者会把消费的主题的偏移量自主上报给kafka中的默认主题:consumer_offsets。集群中有多个broker,创建主题时可以指明主题有多个分区(把消息拆分到不同的分区中存储),可以为分区创建多个副本,不同的副本存放在不同的broker里。副本是为了给主题中的分区创建多个备份,多个副本在kafka集群的多个broker中,会有一个副本作为leader,其他是follower。

qq_42236791的博客 1510

Kafka入门学习笔记

Kafka入门学习笔记 一、常用概念 1、Producer: 生产者,发布消息。 将消息发布到指定的topic中,并负责决定发布到哪个分区。通常简单的由负载均衡机制随机选择分区,但也可以通过特定的分区函数选择分区。使用的更多的是第二种。 2、Topic: Kafka将消息种子(Feed)分门别类, 每一类的消息称之为一个Topic。kafka的数据就保存在topic。 3、Partition: topic的分区,每个topic可以有多个分区,分区的作用是做负载,提高kafka的吞吐量。同一个

NaMgAl_的博客 669

Kafka-学习笔记分享

文章目录前言1.定义2.Kafka基本架构3.Kafka命令行操作4.Kafka工作流程5.topic的存储架构6.index文件和log文件详解7.分区8.数据的可靠性(副本)9.ISR10.ack应答机制11.故障处理12.实现Exactly Once13.Kafka消费者方式14.offset的维护15.Kafka高速读写数据16.Zookeeper在Kafka中的作用17.选举流程18.KafkaProducerApi原理19.Producer API20.Consumer API21.数据漏消费和

LeiKe_的博客 978

尚硅谷kafka学习笔记(四)Kafka API实战

(1)在hadoop102上监控/opt/module/kafka/logs/目录下first主题3个分区的log日志动态变化情况。1)定义一个类实现Partitioner接口,重写里面的方法(过时API)0)需求:将所有数据存储到topic的第0号分区上。当分区的主副本节点发生故障,客户将要找出新的主副本。2)官方提供案例(自动维护消费情况)(新API)根据指定的分区从主题元数据中找到主副本。(2)发现数据都存储到指定的分区了。1)创建消费者(过时API)2)自定义分区(新API)

老猫喜欢今日爬山的博客 230

kafka小白学习笔记(每日更新,感谢监督)

从0开始学习kafka,从源码、理论、代码学习。

weixin_49316338的博客 826
上一篇: VirtualBox错误:VERR_NEM_VM_CREATE_FAILED: What do I do?
下一篇: What does Closure.cleaner (func) mean in Spark?
DataPeak
博客等级 码龄15年 32粉丝 68原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值