主要内容:
-
sender线程简单介绍
-
sender线程的初始化和开启时机
- 初始化源码分析
- 开启时机和运行方式源码分析
- 总结
-
run方法执行流程分析
- run方法源码
- Sender线程run方法图解
- 细节补充说明
1.sender线程简单介绍
sender线程就是调用RecordAccumulator的api从RecordAccumulator中取出内容,请求kafka获取可用的kafka集群节点,构造请求对象使用KafkaClient的api实现网络读写,将数据发往合适的数据节点。KafkaClient 内部持有Selector,进而持有nioSelector,最终实现的selector模式进行跟服务器进行网络读写,KafkaClient的的网络操作属于kafka-client内核部分,会专门分析。这里先屏蔽KafkaClient内部部分,分析sender线程的内容。
2.sender线程的初始化和开启时机
2.1初始化
Sender线程在KafkaProducer的核心构造方法中进行实例化
this.sender = new Sender(logContext,
client,
this.metadata,
this.accumulator,
maxInflightRequests == 1,
config.getInt(ProducerConfig.MAX_REQUEST_SIZE_CONFIG),
acks,
retries,
metricsRegistry.senderMetrics,
Time.SYSTEM,
this.requestTimeoutMs,
config.getLong(ProducerConfig.RETRY_BACKOFF_MS_CONFIG),
this.transactionManager,
apiVersions);
实例化的时候
2.2开启时机和运行方式
sender线程实例化化,包装到KafkaThread中进行开启,作为守护线程运行。
String ioThreadName = NETWORK_THREAD_PREFIX + " | " + clientId;
/**
* 开启sender线程,并设置为主线程的守护线程
* 这里设置成守护线程有很多好处。我们只需要维护producer线程就可以了,不需要另外维护
* sender线程,在一些后台功能的线程中守护线程的应用场景很多:
* 比如:JVM 的GC线程,比如心跳管理线程。
*/
this.ioThread = new KafkaThread(ioThreadName, this.sender, true);
//让sender线程处于就绪状态。
this.ioThread.start();
KafkaThread类源码
/**
* Sender线程的包装类,
*
* 虽然该类没有持有sender线程从提供的方法和构造方法中看出作用:
*
* 开启sender 线程,并将其设置为守护线程
*/
public class KafkaThread extends Thread {
public KafkaThread(final String name, Runnable runnable, boolean daemon) {
//调用了Thread构造
super(runnable, name);
configureThread(name, daemon);