使用 Spring Boot 在 Apache Kafka 中进行消息压缩
生产者通常发送基于文本的数据,例如 JSON 数据。在这种情况下,对生产者应用压缩是必不可少的。默认情况下,生产者消息以未压缩的形式传输。Kafka 压缩有两种类型。
1. 生产者级 Kafka 压缩
在生产者端启用压缩后,代理或消费者无需进行任何更改。使用 compression.type 参数,生产者可以选择是否压缩消息。压缩类型有五种选项,
- none
- gzip
- lz4
- snappy
- zstd
如果启用,则压缩由生产者客户端执行。生产者必须将消息批量处理以获得更高的吞吐量。
执行
BATCH_SIZE_CONFIG:当向同一分区发送多条记录时,生产者将尝试将记录合并为更少的请求。这样可以提高客户端和服务器的性能。字节是此选项设置的默认批处理大小。任何试图将大于此大小的记录分组的尝试都将失败。对代理的请求将包含多个批处理,每个分区一个批处理,其中包含可访问的数据以供发送。小的批处理大小将阻止批处理并可能降低吞吐量(批处理大小为零将完全禁用批处理)。由于我们总是分配提供的批处理大小的缓冲区以预期更多记录,因此非常大的批处理大小可能会更浪费内存。
LINGER_MS_CONFIG: 生产者将请

最低0.47元/天 解锁文章
1042

被折叠的 条评论
为什么被折叠?



