自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(7)
  • 资源 (1)
  • 收藏
  • 关注

原创 kafka源码阅读--producer核心流程(KafakProducer.java)send线程

Producer.java中的run()方法调用了producer.send方法,点进去send方法返回doSend。 doSend方法封装了producer的核心流程,对应前面画的那张流程图,之后还有一些细节的实现: private Future<RecordMetadata> doSend(ProducerRecord<K, V> record, Callback callback) { TopicPartition tp = null; try {

2020-06-17 15:39:25 429

原创 kafka源码阅读--元数据管理

KafkaProducer.java类里面有这样一句代码: this.metadata.update(Cluster.bootstrap(addresses), time.milliseconds()); 是初始化KafkaProducer时更新元数据的方法, 点进去之后的Metadata.java类里的update方法如下: public synchronized void update(Cluster cluster, long now) { Objects.requireNonNull(c

2020-06-17 14:47:16 406

原创 kafka源码阅读--producer初始化

本节讲述kafka producer的初始化, 核心代码在clients/producer/KafkaProducer.java类里: 下面的代码贴了一些重要参数: 默认的配置在clients/producer/ProducerConfig.java类里 // 配置用户自定义的参数 Map<String, Object> userProvidedConfigs = config.originals(); // 配置client的id号 没有指定会自己分配 clientId = config.g

2020-06-16 15:41:50 584

原创 kafka源码阅读--producer核心流程

本节是图解kafka producer的整体流程, 如下图:

2020-06-15 13:35:27 375 1

原创 kafka源码阅读--producer的demo

这篇从kafka的一个producer的demo开始, 一步步分析producer端的核心流程。 kafka的demo在源码包examples/Producer.java 代码如下: producer初始化代码 public class Producer extends Thread { private final KafkaProducer<Integer, String> producer; private final String topic; private f

2020-06-12 16:29:12 390

原创 kafka源码阅读--源码剖析、思路介绍

源码剖析: 场景驱动方式学习源码,根据源码一步一步分析流程 画图分析, 看源码的时候边分析边画图 看到写的比较好的源码, 分析里面的一些架构技巧,代码编程的技巧。 内容介绍: producer生产数据的流程 broker端 broker如何接收数据(高并发) 数据写入(leader partition) 副本数据同步(HW, LEO) kafka的集群管理(controller结合zookeeper管理集群) consumer 消费数据 ...

2020-06-12 14:49:29 456 2

原创 kakfa源码阅读---准备工作

1 安装Scala, 版本用的是2.11.8 2 安装jdk1.8 3 IDEA 4 gradle, 类似maven 5 导入源码包, 指定gradle版本, 下载依赖。 完成

2020-06-12 14:36:52 128

kafka-0.10.1.0-src.tgz

kafka-0.10.1.0-src.tgz

2020-08-20

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除