kafka 自定义Interceptor（通过拦截器对消息进行定制化处理）

最新推荐文章于 2024-06-04 16:55:46 发布

原创

最新推荐文章于 2024-06-04 16:55:46 发布 · 5.3w 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#kafka

本文详细介绍了Kafka Producer的拦截器机制，包括configure、onSend、onAcknowledgement和close四个关键方法的使用。通过拦截器，用户可以在消息发送前后进行定制化处理，例如在消息发送前添加时间戳或统计发送成功率。文中提供了一个时间戳拦截器和一个计数拦截器的实例，展示如何构建拦截器链并应用于生产者。

文章目录

1. 说明

producer生成消息时，interceptor使得用户在消息发送前以及producer回调逻辑触发前对消息做定制化处理。producer允许用户通过配置interceptor.classes参数指定多个interceptor按序作用于同一条消息从而形成一个拦截链(interceptor chain)。Intercetpor的实现接口是org.apache.kafka.clients.producer.ProducerInterceptor

1.1 configure(configs)

可获取配置信息，初始化调用一次
在这里插入图片描述

1.2 onSend(ProducerRecord)

方法会运行在用户主线程中，封装进org.apache.kafka.clients.producer.KafkaProducer#send(ProducerRecord, Callback)，确保在消息被序列化以及计算分区前调用。（最好不要修改消息所属的topic和分区）
在这里插入图片描述

1.3 onAcknowledgement(RecordMetadata, Exception)

方法会在消息从RecordAccumulator成功发送到Kafka Broker之后，或者在发送过程中失败时调用，即在producer回调逻辑触发之前调用。（不要添加复杂逻辑，否则会拖慢producer的消息发送效率）
在这里插入图片描述

1.4 close

关闭拦截器，执行资源清理工作
在这里插入图片描述

注：producer将按照指定顺序调用拦截器，并仅捕获每个interceptor可能抛出的异常记录到错误日志中而非在向上传递。

2. 案例

生成拦截链。第一个interceptor会在消息发送前将时间戳信息加到消息value的最前部；第二个interceptor会在消息发送后更新成功发送消息数或失败发送消息数到控制台

拦截器一：

import org.apache.kafka.clients.producer.ProducerInterceptor;
import org.apache.kafka.clients.producer.ProducerRecord;
import org.apache.kafka.clients.producer.RecordMetadata;

import java.util.Map;

public class TimeInterceptor implements ProducerInterceptor<String, String> {
   
   

    @Override
    public void configure(Map<String, ?> configs) {
   
   

    }

    @Override
    public ProducerRecord<String, String> onSend(ProducerRecord<