Sprint Boot教程之五十九:使用 Spring Boot 在 Apache Kafka 中进行消息压缩

使用 Spring Boot 在 Apache Kafka 中进行消息压缩

生产者通常发送基于文本的数据,例如 JSON 数据。在这种情况下,对生产者应用压缩是必不可少的。默认情况下,生产者消息以未压缩的形式传输。Kafka 压缩有两种类型。

1. 生产者级 Kafka 压缩

在生产者端启用压缩后,代理或消费者无需进行任何更改。使用 compression.type 参数,生产者可以选择是否压缩消息。压缩类型有五种选项,

  • none
  • gzip
  • lz4
  • snappy
  • zstd

如果启用,则压缩由生产者客户端执行。生产者必须将消息批量处理以获得更高的吞吐量。

执行

BATCH_SIZE_CONFIG:当向同一分区发送多条记录时,生产者将尝试将记录合并为更少的请求。这样可以提高客户端和服务器的性能。字节是此选项设置的默认批处理大小。任何试图将大于此大小的记录分组的尝试都将失败。对代理的请求将包含多个批处理,每个分区一个批处理,其中包含可访问的数据以供发送。小的批处理大小将阻止批处理并可能降低吞吐量(批处理大小为零将完全禁用批处理)。由于我们总是分配提供的批处理大小的缓冲区以预期更多记录,因此非常大的批处理大小可能会更浪费内存。

LINGER_MS_CONFIG:  生产者将请

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

潜洋

你的鼓励是我创作最大的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值