
Kafka
文章平均质量分 82
Apache Kafka
weihubeats
开源框架Tlog贡献者,技术大多都源于生产实践,乐于分享.公众号:小奏技术
展开
-
Apache Kafka 4.0正式发布,首个默认KRaft模式运行,移除单独维护Zookeeper降低复杂性
总的来说改动还挺多,最核心的改动还是默认使用KRaft模式运行。和也有一些改动,具体参考官网吧。原创 2025-03-20 07:45:00 · 2096 阅读 · 0 评论 -
kafka集群扩容实战
线上的`Kafka`集群采用的部署方式为`KRaft`模式,3个`KRaft`+2个`broker`。`Kafka`版本`kafka_2.13-3.5.0`原创 2024-06-26 09:15:00 · 847 阅读 · 0 评论 -
Kafka消息能正常发送,但是无法消费问题排查
如果kafka能正常发送消息,但是消费异常,一般是消费位点出现了问题,即管理消费位点的这个toipc目前来看新增了3个brokerkafka并没有自动对进行分区迁移,需要手动进行迁移所以后续出现消费相关的问题可以优先检查这个topic的情况,毕竟kafka得消费位点都依赖于这个topic。原创 2024-06-15 10:03:44 · 3092 阅读 · 0 评论 -
聊聊kafka client性能调优及kafka最佳实践
其实可以看到producer的batch.size和linger.ms就是借鉴了tcp/ip的网络发送算法。tcp/ip的Nagle算法大致的规则如下如果包长度达到MSS,则允许发送如果包含FIN,则允许发送如果设置了TCP_NODELAY,则允许发送未设置TCP_CORK选项时,若所有发出去的小数据包(包长度小于MSS)均被确认,则允许发送上述条件都未满足,但发生了超时(一般为200ms),则立即发送。elseelseend ifend ifend if总得来说主要是四个参数。原创 2023-12-23 09:30:00 · 1256 阅读 · 0 评论 -
Kakka dashboard技术选型及实战Know Streaming
这里是,觉得文章不错可以关注公众号,文章首发。拒绝营销号,拒绝标题党。原创 2023-12-22 09:00:00 · 1115 阅读 · 0 评论 -
线上Kafka集群如何调整消息存储时间
总的来说Kafka的配置分broker级别和Topic级别。如果我们要修改消息的存储时间,最好是通过修改Topic的存储时间来修改,因为不用重启broker。不过在部署Kafka集群的时候我们也建议设置合理的消息存储时间,避免每个Topic都要定制化配置,才能最大化利用磁盘,避免磁盘浪费其次从Kafka的这种配置设计来说,我们后续做技术设计的时候也可以采用这种优秀的方式,提供全局+局部的配置,局部配置优先级高于全局,其实如果开源软件使用的多的话,我们会发现大多开源软件的配置都采用这种设计思路。原创 2023-11-04 09:40:01 · 2016 阅读 · 0 评论 -
Kafka KRaft线上集群部署实战(broker、controller分离部署)
这里是,觉得文章不错可以关注公众号,文章首发。拒绝营销号,拒绝标题党。原创 2023-10-09 09:57:24 · 754 阅读 · 1 评论 -
聊聊Kafka如何基于JMX监控
总的来说kafka的监控支持有两种一种是Jmx,一种是http.各种需要监控的指标也是应有尽有,非常齐全。原创 2023-09-16 11:51:34 · 1506 阅读 · 0 评论 -
Linux Kafka 3.5 KRaft模式集群部署
KRaft是kafka用来取代zookeeper的分布式协调管理组件。原创 2023-09-07 13:43:41 · 905 阅读 · 1 评论 -
kafka入门安装及消息发送接受初体验(附源码)
这里是weihubeats,觉得文章不错可以关注公众号,文章首发。拒绝营销号,拒绝标题党。原创 2023-07-05 15:24:39 · 215 阅读 · 0 评论