Kafka 实现之消息及消息格式

本文深入探讨Kafka的消息格式,包括消息的键和值、Record Batch、Control Batches、Record Header、旧消息格式等内容。Kafka消息由Header、Key和Value组成,具有灵活性,支持各种数据类型。Record Batch是消息的主要存储形式,其中控制批次用于过滤事务消息。Record Header在0.11.0版后引入,增加了消息的元数据。旧消息格式主要讨论0.11之前的版本,支持压缩和递归消息。

目录

一. 前言

二. Kafka 消息(Messages)

三. Kafka 消息格式(Message Format)

3.1. 消息批次(Record Batch)

3.1.1. 控制批次(Control Batches)

3.2. 记录(Record)

3.2.1. 记录的 Header(Record Header)

3.3. 旧消息格式(Old Message Format)


一. 前言

    Kafka 的消息格式是由消息的键和值组成的。每条消息都有一个可选的键和一个必选的值,它们都是字节数组。键和值可以是任意类型的数据,但在发送和接收消息时,它们需要被序列化为字节数组。

    在 Kafka 中,消息是以字节数组的形式进行传输和存储的。这种灵活的格式使得 Kafka 非常适合处理各种类型的数据,包括结构化数据、文本数据、二进制数据等。

    Kafka 的消息格式并不限制消息的内容,开发人员可以自由定义消息的格式和结构。这种灵活性使得 Kafka 可以适应各种不同的应用场景和数据类型。同时,Kafka 还提供了一些高级特性,如压缩、分区、副本等,可以帮助开发人员更好地管理和处理消息。

二. Kafka 消息(Messages)

原文引用:Messages consist of a variable-length header, a variable-length opaque key byte array and a variable-length opaque valu

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

流华追梦

你的鼓励将是我创作最大的动力。

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值