(五)分布式流平台之kafka 配置分析

本文深入解析Kafka中关键参数的作用,如acks值、buffer.memory、compression.type和max.in.flight.requests.per.connection等,探讨它们如何影响数据的完整性和系统的吞吐量。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

  1. acks 值越大,数据不丢失保证率越高,但是吞吐量越低。
  2. buffer.memory  
    1. 主要为了解决两个角色之间处理数据的速度不匹配问题,有了缓冲区可以提高速度快的一方的利用率
    2. 表示缓冲区大小,值越大,延迟越高,但吞吐量越大,相当于批量发送,单个数据占用的网络开销变小
  3. compression.type
    1. 是否压缩
    2. 压缩可以减小网络开销,增大存储量,但是会消耗cpu资源
  4. max.in.flight.requests.per.connection
    1. 代表生产者在收到服务器响应之前可以发送多少个消息
    2. 设置为1 可以保证消息顺序,即使有重试的消息。但是会降低吞吐量
    3. 值越大 会占用越多的内存,大大提高吞吐量,但是不能保证顺序
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值