
KAFKA
文章平均质量分 80
kafka工作中要注意的问题
day_ue
这个作者很懒,什么都没留下…
展开
-
Kafka参数优化
一般情况下,Producer压缩消息,Broker保存消息,Consumer解压缩消息,Broker只是保持消息,不会解压缩处理消息;大于0时,如果消息数据小于batch.size,则继续等待,当数据超过batch.size或者等待时间超过linger.ms,则直接发送数据。增加topic的分区数,将topic的数据尽量均匀的落盘到不同的分区;如果设置的缓冲区不够,当生产消息的速度大于消息发送的速度,缓冲区被写满之后,导致用户线程阻塞;根据当前业务生产消息的能力和客户端发送消息的能力,合理配置。原创 2023-07-13 21:10:03 · 272 阅读 · 0 评论 -
kafka的rebalance
rebalance的出现订阅Topic的分区数发生变化简单地说,就是之前 topic 有 10 个分区,现在变成了 20 个,那么多出来的 10 个分区的数据就没人消费了。那么此时就需要进行重平衡,将新增的 10 个分区分给消费组内的消费者进行消费。所以在这个情况下,会发生重平衡。订阅的Topic个数发生变化简单地说,一个 consumer group 如果之前只订阅了 A topic,那么其组内的 consumer 知会消费 A topic 的消息。而如果现在新增订阅了 B topic,那么 k原创 2021-10-26 22:04:59 · 1050 阅读 · 0 评论 -
零拷贝技术
零拷贝技术是指计算机执行操作时,CPU不需要先将数据从某处内存复制到另一个特定区域,这种技术通常用于通过网络传输文件时节省CPU周期和内存带宽原创 2021-09-12 09:25:12 · 463 阅读 · 0 评论 -
kafka概念总结
earliest当各分区下有已提交的offset时,从提交的offset开始消费;无提交的offset时,从头开始消费latest当各分区下有已提交的offset时,从提交的offset开始消费;无提交的offset时,消费新产生的该分区下的数据nonetopic各分区都存在已提交的offset时,从offset后开始消费;只要有一个分区不存在已提交的offset,则抛出异常...原创 2019-10-16 09:53:01 · 451 阅读 · 0 评论