
MQ
#农村外出务工人员
不要假装努力,结果不会陪你演戏
展开
-
【kafka】『2』kafka为什么能快速处理海量数据
在使用kafka时,我们经常会想,为什么kafka能够达到如此巨大的数据吞吐量?这与kafka的很多设计哲学是分不开的,比如分区并行、ISR机制、顺序写入、页缓存、高效序列化、零拷贝等等,由于kafka的消息存储涉及到海量数据读写,所以利用零拷贝能够显著的降低延迟,提高效率。(linux内核中的函数sendfile()就是零拷贝)(1)零拷贝的原理...原创 2020-11-24 16:18:32 · 418 阅读 · 0 评论 -
【Kafka】Consumer均衡、Consumer消费组
一、kafka的Consumer均衡算法有一个topic:topic_test,然后这个topic的partition和他们所在的broker的图如下1.其中 broker有两个,也就是服务器有两台。2.partition有6个,分布按照如图所示,按照哈希取模的算法分配。3.消费者有8个,他们属于同一个消费组。如果按照如图所示,那么这一个消费组中的消费者会怎么取kafka的数据...原创 2018-12-04 11:34:47 · 593 阅读 · 0 评论