braverlionet的博客

Kafka 架构深入 公众号 : 倔强小狮子(最新发布) Kafka 工作流程(详细) Kafka 中消息是以 topic 进行分类的，生产者生产消息，消费者消费消息，都是面向 topic的。 topic 是逻辑上的概念，而 partition 是物理上的概念，每个 partition 对应于一个 log 文件，该 log 文件中存储的就是producer 生产的数据。Producer 生产的数据会被不断追加到该log 文件末端，且每条数据都有自己的 offset(偏移量)。消费者组中的每个消费者，

公众号 : 倔强小狮子(最新发布) 消费方式 consumer 采用 pull 拉模式在 broker中读取消息, 而 pull 模式不足之处是如果Kafka中没有数据, 消费者可能会陷入循环中,一直返回空数据(Kafka采用该模式) push 推模式,不同消费者处理消息能力不,产生背压, 甚至可能打垮消费者, 因为消息推送速率取决去 broker 上面讲到Kafka采用pull模式获取数据, 在没有数据时会进行空转, Kafka针对这一点采用在消费者消费数据时传入一个时长参数 timeout, 如果

目录 消息队列的好处 消息队列模式 什么是 Kafka Kafka整体架构及解析 消息队列的好处 解耦 允许你独立的扩展或修改两边的处理过程，只要确保它们遵守同样的接口约束。 可恢复性 系统的一部分组件失效时，不会影响到整个系统。消息队列降低了进程间的耦合度，所 以即使一个处理消息的进程挂掉，加入队列中的消息仍然可以在系统恢复后被处理。(注意消息重复消费) 缓冲 有助于控制和优化数据流经过系统的速度,解决生产者和消费者处理消息能力不一致的问题 灵活性 & 峰值处理能力