你的BoyZ的博客

Kafka学习之消费者 前言 本博客主要介绍up在学习kafka中间件时候觉得需要记录的知识点。 内容 1、消费者与消费组 消费者（Consumer）负责订阅Kafka中的主题（Topic），并且从订阅的主题上拉取消息。与其他一些消息中间件不同的是：在Kafka的消费理念中还有一层消费组（Consumer Group）的概念，每个消费者都有一个对应的消费组。当消息发布到主题后，只会被投递给订阅它的每个消费组中的一个消费者(也就是说订阅了同一个主题的消费组会收到同样的消息，但是同一消费组里面的消费者获取的是不

Kafka学习之生产者 前言 本篇博客记录一下up学习kafka时候对生产者学习的一些知识点。 原理分析 整体架构分析 首先我们来看一下生产者客户端的整体架构，如下图所示： 可以看出，整个生产者是通过两种线程协调运行的，分别是主线程和Sender线程。 主线程的作用是创建消息，然后经过拦截器、序列号器和分区器发送到消息累加器。（可以理解为把消息缓存到内存里面了，对于客户端使用者来说，感受的流程就结束了，其余的流程都是kafka自己完成的） Sender线程的作用可以理解为拉取，从消息累加器（RecordA

kafka学习之事务 前言 为了实现EOS(exactly once semantics,精确一次处理语义)karka从0.11.0.0版本开始引入了幂等性和事务两个特性来支撑。 场景 最简单的需求是producer发的多条消息组成一个事务这些消息需要对consumer同时可见或者同时不可见 。 producer可能会给多个topic，多个partition发消息，这些消息也需要能放在一个事务里面，这就形成了一个典型的分布式事务。 kafka的应用场景经常是应用先消费一个topic，然后做处理再发到另一个