okhymok的博客

1、什么是kafka？是一个分布式发布-订阅消息系统和一个强大的队列，适合离线和在线消息消费，扩展性特别好。Kafka消息保留在磁盘上，并在集群内复制以防止数据丢失。Kafka为什么比其他的MQ都快，采用的是机制是顺序写入磁盘和Memory Mapped Files（内存映射文件）。顺序写入：每个partition都是一个文件，kafka会把收到的message插入到文件末尾，每个co...

broker的leader：Kafka集群Leader选举原理我们知道Zookeeper集群中也有选举机制，是通过Paxos算法，通过不同节点向其他节点发送信息来投票选举出leader，但是Kafka的leader的选举就没有这么复杂了。Kafka的Leader选举是通过在zookeeper上创建/controller临时节点来实现leader选举，并在该节点中写入当前broker的信...

kafka为什么要在topic里加入分区的概念？如果没有分区,topic中的segment消息写满后,直接给订阅者不是也可以吗？若没有分区，一个topic对应的消息集在分布式集群服务组中，就会分布不均匀，即可能导致某台服务器A记录当前topic的消息集很多，若此topic的消息压力很大的情况下，服务器A就可能导致压力很大，吞吐也容易导致瓶颈。有了分区后，假设一个topic可能分为10个分区，...