【Kafka】消费者Consumer详解

Ethan-running

已于 2025-03-22 14:20:40 修改

阅读量3k

点赞数 45

分类专栏： # kafka 文章标签： kafka 消息中间件分布式

于 2024-01-25 14:00:00 首次发布

本文链接：https://blog.youkuaiyun.com/qq_43745578/article/details/135833823

版权

消息消费

消息消费流程

参考：https://mp.weixin.qq.com/s/v6jUK8TIPi1Debfd40GU3w

消费者消费也主要分为两个阶段：

信息注册阶段，即整个消费者组向集群注册消费信息等
信息消费阶段，开始信息消息，确保消息可靠性等

信息注册

信息注册流程如下：

在这里插入图片描述

注册流程如下：

消费者组内所有消费者都会向集群寻找自己的Coordinator（组协调器，消费者后续很多操作都需要发送请求到这个节点）
找到Coordinator后，所有的Consumer都会向Coordinator发起join group加入消费者组的请求
Coordinator会选择一个最早发起请求的Consumer作为leader Consumer，其他的Consumer作为follower

消息消费

消费流程图如下：

在这里插入图片描述

消费流程如下：

leader消费者根据要消费的Topic及分区情况制定一个消费方案
leader告知给Coordinator，Coordinator再将消费方案告知给各个follower
消费者到指定分区拉取消息
消息经过反序列化转为正常的消息对象
经过拦截器
消费者提交位移到kafka

消费方式

我们知道消息队列一般有两种实现方式：Push(推模式) 和 Pull(拉模式)。

Kafka Consumer 采用的是主动拉取 Broker 数据进行消费的即 Pull 模式。

为什么不采用Push模式？

如果是选择 Push 模式最大缺点就是 Broker 不清楚 Consumer 的消费速度，且推送速率是 Broker 进行控制的，这样很容易造成消息堆积，如果 Consumer 中执行的任务操作是比较耗时的，那么 Consumer 就会处理的很慢，严重情况可能会导致系统 Crash。

为什么采用Pull模式？

如果选择 Pull 模式，这时 Consumer 可以根据自己的情况和状态来拉取数据, 也可以进行延迟处理。但是 Pull 模式也有不足，Kafka 又是如何解决这一问题？**如果 Kafka Broker 没有消息，这时每次 Consumer 拉取的都是空数据, 可能会一直循环返回空数据。针对这个问题，Consumer 在每次调用 Poll() 消费数据的时候，顺带一个 timeout 参数，当返回空数据的时候，会在 Long Polling 中进行阻塞，等待 timeout 再去消费，直到数据到达。

反序列化

Kafka的broker中所有的消息都是字节数组，消费者获取到消息之后，需要先对消息进行反序列化处理，然后才能交给用户程序消费处理。

消费者的反序列化器包括key的和value的反序列化器：key.deserializer、value.deserializer。

反序列化器需要实现接口org.apache.kafka.common.serialization.Deserializer<T>，如下;

package org.apache.kafka.common.serialization;

import java.io.Closeable;
import java.util.Map;
import org.apache.kafka.common.header.Headers;

public interface Deserializer<T> extends Closeable {
   
    default void configure(Map<String, ?> configs, boolean isKey) {
   
    }

    T deserialize(String var1, byte[] var2);

    default T deserialize(String topic, Headers headers, byte[] data) {
   
        return this.deserialize(topic, data);
    }

    default void close() {
   
    }
}

同时kafka也提供了一些默认的反序列化器：

在这里插入图片描述

除了上述提供的，还可以自定义序列化器，只要实现Deserializer接口即可。

import com.lagou.kafka.demo.entity.User; 
import org.apache.kafka.common.serialization.Deserializer;
import java.nio.ByteBuffer;
import java.util.Map;


public class UserDeserializer implements Deserializer<User> {
   
    @Override
    public void configure(Map<String, ?> configs, boolean isKey) {
   
    }

    @Override
    public User deserialize(String topic, byte[] data) {
   
        ByteBuffer allocate = ByteBuffer.allocate(data.length);
        allocate.put(data);
        allocate.flip();
        int userId = allocate.getInt();
        int length = allocate.getInt();
        System.out.println(length);
        String username = new String(data, 8, length);
        return new User(userId, username);
    }

    @Override
    public void close() {
   
    }
}

消费时配置写上我们自定义的反序列化器：

Map<String, Object> configs = new HashMap<>();
...
configs.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, UserDeserializer.class);
KafkaConsumer<String, User> consumer = new KafkaConsumer<String, User>(configs);
consumer.subscribe(Collections.singleton("tp_user_01"));
...