Kafka生产者（二）

1、生产者消息发送流程

1.1 发送原理

在消息发送的过程中，涉及到了两个线程——main 线程和 Sender 线程。在 main 线程中创建了一个双端队列 RecordAccumulator。main 线程将消息发送给 RecordAccumulator，Sender 线程不断从 RecordAccumulator 中拉取消息发送到 Kafka Broker。

分区器是来规定每个数据发往哪个队列（缓存队列），这个队列大小默认是32M。
Sender线程拉取RecordAccumulator中的消息，需要满足一个条件。batch.size或linger.ms。

2、异步发送API

异步通信：允许用户把一个消息放入队列，但并不立即处理它，然后在需要的时候再去处理它们。

2.1 普通异步发送

1、需求：创建Kafka生产者，采用异步的方式发送到Kafka Broker

2、代码编写
（1）创建工程kafka
（2）导入依赖

<dependencies>
    <dependency>
        <groupId>org.apache.kafka</groupId>
        <artifactId>kafka-clients</artifactId>
        <version>3.0.0</version>
    </dependency>
</dependencies>

2.2 编写不带回调函数的API代码

package com.atguigu.kafka.producer;
import org.apache.kafka.clients.producer.KafkaProducer;
import org.apache.kafka.clients.producer.ProducerConfig;
import org.apache.kafka.clients.producer.ProducerRecord;
import org.apache.kafka.common.serialization.StringSerializer;

import java.util.Properties;

/**
 * @description:
 * @author：cl
 * @date: 2024/8/4
 * @Copyright： 沉淀、分享、成长，让自己有所收获！
 */
public class CustomProducer {
   
   

    public static void main(String[] args) {
   
   
        // 1、配置
        Properties properties = new Properties();
        // 1.1 连接集群 bootstrap.servers
        properties.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, "192.168.58.130:9092");
        // 1.2 指定对应的key和value的序列化类型
        properties.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, StringSerializer.class.getName());
        properties.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG, StringSerializer.class.getName());

        // 2.创建kafka生产者对象
        KafkaProducer<String, String> KafkaProducer = new KafkaProducer<>(properties);
        // 2.1 发送数据
        for (int i = 0; i < 10; i++) {
   
   
            KafkaProducer.send(new ProducerRecord<>("first", "aaa:" + i));
        }

        // 3、关闭资源
        KafkaProducer.close();

    }
}

测试：
在192.168.58.130上开启kafka消费者

root@cl-virtual-machine:/usr/local/kafka# bin/kafka-console-consumer.sh --bootstrap-server 192.168.58.130:9092  --topic first

执行IDEA代码，查看收到发送过来的消息

2.3 带回调函数的异步发送

回调函数会在 producer 收到 ack 时调用，为异步调用，该方法有两个参数，分别是元数据信息（RecordMetadata）和异常信息（Exception），如果 Exception 为 null，说明消息发送成功，如果 Exception 不为 null，说明消息发送失败。

package com.atguigu.kafka.producer;
import org.apache.kafka.clients.producer.*;
import org.apache.kafka.common.serialization.StringSerializer;

import java.util.Properties;

/**
 * @description:
 * @author：cl
 * @date: 2024/8/4
 * @Copyright： 沉淀、分享、成长，让自己有所收获！
 */
public class CustomProducerCallback {
   
   

    public static void main(String[] args) {
   
   
        // 1、配置
        Properties properties = new Properties();
        // 1.1 连接集群 bootstrap.servers
        properties.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, "192.168.58.130:9092");
        // 1.2 指定对应的key和value的序列化类型
        properties.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, StringSerializer.class.getName());
        properties.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG, StringSerializer.class.getName());

        // 2.创建kafka生产者对象
        KafkaProducer<String, String> KafkaProducer = new KafkaProducer<>(properties);
        // 2.1 发送数据
        for (int i = 0; i < 10; i++) {
   
   
            KafkaProducer.send(new ProducerRecord<>("first", "aaa:" + i), new Callback() {
   
   
                @Override
                public void onCompletion(RecordMetadata recordMetadata, Exception e) {
   
   
                    if (e == null) {
   
   
                        System.out.println("topic： " + recordMetadata.topic() + " partition："