【生产者篇】 sender线程源码分析--1

主要内容:

  • sender线程简单介绍

  • sender线程的初始化和开启时机

    • 初始化源码分析
    • 开启时机和运行方式源码分析
    • 总结
  • run方法执行流程分析

    • run方法源码
    • Sender线程run方法图解
    • 细节补充说明
1.sender线程简单介绍

sender线程就是调用RecordAccumulator的api从RecordAccumulator中取出内容,请求kafka获取可用的kafka集群节点,构造请求对象使用KafkaClient的api实现网络读写,将数据发往合适的数据节点。KafkaClient 内部持有Selector,进而持有nioSelector,最终实现的selector模式进行跟服务器进行网络读写,KafkaClient的的网络操作属于kafka-client内核部分,会专门分析。这里先屏蔽KafkaClient内部部分,分析sender线程的内容。

2.sender线程的初始化和开启时机
2.1初始化

Sender线程在KafkaProducer的核心构造方法中进行实例化

this.sender = new Sender(logContext,
        client,
        this.metadata,
        this.accumulator,
        maxInflightRequests == 1,
        config.getInt(ProducerConfig.MAX_REQUEST_SIZE_CONFIG),
        acks,
        retries,
        metricsRegistry.senderMetrics,
        Time.SYSTEM,
        this.requestTimeoutMs,
        config.getLong(ProducerConfig.RETRY_BACKOFF_MS_CONFIG),
        this.transactionManager,
        apiVersions);

实例化的时候

2.2开启时机和运行方式

sender线程实例化化,包装到KafkaThread中进行开启,作为守护线程运行。

String ioThreadName = NETWORK_THREAD_PREFIX + " | " + clientId;

/**
 * 开启sender线程,并设置为主线程的守护线程
 * 这里设置成守护线程有很多好处。我们只需要维护producer线程就可以了,不需要另外维护
 * sender线程,在一些后台功能的线程中守护线程的应用场景很多:
 * 比如:JVM 的GC线程,比如心跳管理线程。
 */
this.ioThread = new KafkaThread(ioThreadName, this.sender, true);
//让sender线程处于就绪状态。
this.ioThread.start();

KafkaThread类源码

/**
 * Sender线程的包装类,
 * 
 * 虽然该类没有持有sender线程从提供的方法和构造方法中看出作用:
 * 
 * 开启sender 线程,并将其设置为守护线程
 */
public class KafkaThread extends Thread {
   
   

    public KafkaThread(final String name, Runnable runnable, boolean daemon) {
   
   
       //调用了Thread构造
        super(runnable, name);
        configureThread(name, daemon);
    
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值