- 博客(8)
- 收藏
- 关注
RSS订阅原创 kafka主题创建流程
创建主题流程分析创建主题包括2个阶段1、客户端创建，就是客户端将主题得元数据写入zk2、服务端得创建，是服务端控制器创建主题得过程。此文章主要描述得是客户端创建主题得过程。可以通过kafka的api客户端或者是命令行来创建主题，底层都是调用了TopicCommand.createTopic(zkUtils: ZkUtils, ops：TopicCommandOptions）方法创建主题。该方法的主题流程是，首先是对主题和相关的配置信息进行校验，然后进行分区副本分配。最后在zk的/brokers/t
2021-08-24 17:09:16
1884
原创 windows下单机版kafka及主题创建
kafka安装步骤1、安装 kafka之前需要先安装 JDK，可以参考https://jingyan.baidu.com/article/f96699bb163475894e3c1be4.html2、下载kafka下载路径http://kafka.apache.org/downloads3、解压kafka到指定目录 E:\kafka_2.11-1.1.1.14、在目录下新建一个logs文件夹5、 进入config目录，编辑 server.properties文件修改log.dirs=E:\
2021-08-23 11:39:18
1149
原创 window下安装单机ZooKeeper
ZooKeeper安装步骤1、安装 ZooKeeper 之前需要先安装 JDK，可以参考https://jingyan.baidu.com/article/f96699bb163475894e3c1be4.html2、可以从 https://zookeeper.apache.org/releases.html 下载ZooKeeper可以根据自己的操作系统来下载对应的安装包，我的是Windows系统选择，我这边下载的是 zookeeper-3.4.8.tar.gz3、解压并安装（1）目录结构
2021-08-20 11:08:57
259
原创 kafka生产消息核心流程
生产者kafka在0.8.2版本开发了一套java版本的client api，对原来包里面的生产者和消费者逻辑用java语言重新实现，独立了一个新的client包。在 0. 10 版本之后的 Kafka推荐使用java版本的客户端。在0.8.2版本之前还是使用老的Scala语言编写的客户端。在启动生产者之前一些重要的配置介绍。生产者有很多属性可以设置，大部分都有合理的默认值，无需调整。有些参数可能对内存使用，性能和可靠性方面有较大影响。acks：代理收到消息后向生产者发生消息确认，生产者根据acks值
2021-08-13 18:11:43
358
原创 kafka基本概念
kafka知识点整理1、topic主题kafka将一组消息归类为主题，其实就是用主题对消息进行分类，类似数据库中的表2、partition分区主题可以分为一个或多个分区，类似分表技术。分区本质上是个提交日志文件，有新消息，这个消息就会以追加的方式写入分区（写文件的形式），然后用先入先出的顺序读取。3、logsize消息最大偏移量 。可以理解为分区消息总记录数。4、offset己提交的最大消费偏移量。消费者消费数据并且提交到服务器偏移量的总数。5、lag消费者未消费或是己消费但还未提交而
2021-08-11 17:50:01
892
原创 kafka启动流程分析
kafka启动流程分析KafkaServer.startup()来完成KafkaServer的启动工作。startup方法会完成核心组件的初始化并启动这些组件。包括组件任务调度器( KafkaScheduler）、日志管理器 （LogManager）、 网络通信服务器 （SockeServer）、副本管理器 ( ReplicaManager）、 控制器 （KafkaController）、组协调器 （ GroupCoordinator）、动态配置管 理器 （DynamicConfigManager）以及
2021-08-11 16:08:08
661
原创 jvm笔记
jvm整理一Java运行时数据区Java运行时数据区Java虚拟机在执行Java程序的过程中会将其管理的内存划分为若干个不同的数据区域，这些区域有各自的用途、创建和销毁的时间，有些区域随虚拟机进程的启动而存在，有些区域则是依赖用户线程的启动和结束来建立和销毁。Java虚拟机所管理的内存包括以下几个运行时数据区域，如图：1、程序计数器：指向当前线程正在执行的字节码指令。线程私有的。2、虚拟机栈：虚拟机栈是Java执行方法的内存模型。每个方法被执行的时候，都会创建一个栈帧，把栈帧压人栈，当方法正常返回
2020-09-08 20:34:54
89
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人