- 博客(7)
- 资源 (1)
- 收藏
- 关注
原创 kafka源码阅读--producer核心流程(KafakProducer.java)send线程
Producer.java中的run()方法调用了producer.send方法,点进去send方法返回doSend。 doSend方法封装了producer的核心流程,对应前面画的那张流程图,之后还有一些细节的实现: private Future<RecordMetadata> doSend(ProducerRecord<K, V> record, Callback callback) { TopicPartition tp = null; try {
2020-06-17 15:39:25
429
原创 kafka源码阅读--元数据管理
KafkaProducer.java类里面有这样一句代码: this.metadata.update(Cluster.bootstrap(addresses), time.milliseconds()); 是初始化KafkaProducer时更新元数据的方法, 点进去之后的Metadata.java类里的update方法如下: public synchronized void update(Cluster cluster, long now) { Objects.requireNonNull(c
2020-06-17 14:47:16
406
原创 kafka源码阅读--producer初始化
本节讲述kafka producer的初始化, 核心代码在clients/producer/KafkaProducer.java类里: 下面的代码贴了一些重要参数: 默认的配置在clients/producer/ProducerConfig.java类里 // 配置用户自定义的参数 Map<String, Object> userProvidedConfigs = config.originals(); // 配置client的id号 没有指定会自己分配 clientId = config.g
2020-06-16 15:41:50
584
原创 kafka源码阅读--producer的demo
这篇从kafka的一个producer的demo开始, 一步步分析producer端的核心流程。 kafka的demo在源码包examples/Producer.java 代码如下: producer初始化代码 public class Producer extends Thread { private final KafkaProducer<Integer, String> producer; private final String topic; private f
2020-06-12 16:29:12
390
原创 kafka源码阅读--源码剖析、思路介绍
源码剖析: 场景驱动方式学习源码,根据源码一步一步分析流程 画图分析, 看源码的时候边分析边画图 看到写的比较好的源码, 分析里面的一些架构技巧,代码编程的技巧。 内容介绍: producer生产数据的流程 broker端 broker如何接收数据(高并发) 数据写入(leader partition) 副本数据同步(HW, LEO) kafka的集群管理(controller结合zookeeper管理集群) consumer 消费数据 ...
2020-06-12 14:49:29
456
2
原创 kakfa源码阅读---准备工作
1 安装Scala, 版本用的是2.11.8 2 安装jdk1.8 3 IDEA 4 gradle, 类似maven 5 导入源码包, 指定gradle版本, 下载依赖。 完成
2020-06-12 14:36:52
128
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人
RSS订阅