kafka视屏笔记
关注
分享
扫一扫
kafka视屏笔记
码灵
爱码。
平时学习新的知识，看到了新的东西，记录下来。
展开
-
kafka-初识kafka-简介基本概念-小白笔记（一）
原创 2020-05-03 00:05:35 · 236 阅读 · 0 评论 -
kafka-初识kafka-安装与配置-小白笔记（一）
1 kafka安装与配置1 .1 安装java环境1.2 Zookeeper的安装1.3 kafka的安装和配置使用自带zookeeper安装可参考 此文档 点 点 点（内含详细启动测试命令）1.4 kafka测试消息生产与消费1.4.1 创建主题1.4.2 查看所有主题1.4.3 查看主题详情1.4.4 启动消费端接收消息1.4.5 生产端发送消息 ...原创 2020-09-05 19:30:21 · 247 阅读 · 0 评论 -
kafka-初识kafka-第一个java程序-小白笔记（一）
1 kafka第一个java程序基于SpringBoot实现，对连接参数的设置进行了优化。1.1 新建Spring Boot项目，添加依赖 <properties> <java.version>1.8</java.version> <kafka.version>2.0.0</kafka.version> <scala.version>2.11</sc原创 2020-09-05 22:08:53 · 281 阅读 · 0 评论 -
kafka-初识kafka-服务端常用参数配置-小白笔记（一）
1 kafka服务端常用参数配置kafka常用配置，必须要知道的；其他配置，可以参考kafka配置文件说明1.1 zookeeper.connect1.2 listeners1.3 broker.id1.4 log.dirs1.5 message.max.bytes原创 2020-09-05 22:19:34 · 265 阅读 · 0 评论 -
kafka-生产者详解-消息发送-小白笔记（二）
1 消息发送消息发送：详细介绍生产者 发送消息类型、序列化器、自定义序列化器、分区器、自定义分区器、拦截器的使用。1.1 kafka Java客户端数据生产流程解析1.2 发送类型同步发送异步发送1.3 序列化器1.4 自定义序列化器定义序列化器使用序列化器1.5 分区器一般都会采用默认的分区策略。 1.6 自定义分区器自定义分区器自定义分区器使用1.7 拦截器定义拦截器拦截器使用...原创 2020-09-06 00:41:51 · 205 阅读 · 0 评论 -
kafka-生产者详解-发送原理剖析和其他生产者参数讲解-小白笔记（二）
1 发送原理剖析2 其他生产者参数详细配置可以参考此文章kafka配置文件说明。2.1 acks2.2 retries2.3 batch.size2.4 max.request.size原创 2020-09-06 01:03:25 · 174 阅读 · 0 评论 -
kafka-消费者详解-概念入门、消息接收、参数配置-小白笔记（三）
1 概念入门2 消息接收原创 2020-09-06 10:07:12 · 1201 阅读 · 0 评论 -
kafka-主题-主题管理-小白笔记（四）
1 主题管理（topic）主题管理：记录了topic的增删改查以及参数配置。1.1 创建主题 1.2 查看主题1.3 修改主题参数删除配置1.4 删除主题1.5 增加主题分区1.6 其他主题参数配置见官方文档http://kafka.apache.org/documentation/#topicconfigs...原创 2020-09-06 11:15:27 · 201 阅读 · 0 评论 -
kafka-Java实现管理功能-KafkadminClient应用-小白笔记（四）
实际应用开发中，用的不是很多，知道即可。原创 2020-09-06 11:31:30 · 259 阅读 · 0 评论 -
kafka-分区-概念、Leader机制、修改副本、分区分配策略-小白笔记（五）
1 分区1.1 副本机制1.2 分区Leader选举1.3 分区重新分配具体步骤第一步：我们创建一个有三个节点的集群（复制下安装包，改下service.properties的broker.id、log.dir 路径即可）从上面的输出可以看出heima-par 这个主题有三个分区，三个副本。第二步：主题heima-par再加个一个分区第三步：再添加一个broker节点第四步：重新分配执行分配策略查看分区重新分配的...原创 2020-09-06 22:55:34 · 506 阅读 · 0 评论 -
kafka-kafka存储-存储结构概述、日志索引、日志清理、磁盘存储优势-小白笔记（六）
1 kafka存储1.1 存储结构概述partition中segment文件存储结构1.2 日志索引1.2.1 数据文件的分段1.2.2 偏移量索引 1.3 日志清理1.3.1 日志删除1.3.2 日志压缩1.4 磁盘存储优势...原创 2020-09-06 23:23:25 · 242 阅读 · 0 评论 -
kafka-稳定性-幂等性、事务、控制器、可靠性保证、一致性保证-小白笔记（七）
1 kafka稳定性1.1 幂等性幂等性默认是开启的。1.2 事务实现步骤：生产者发送消息案例：1.3 控制器1.4 可靠性保证1.5 一致性保证避免数据丢失避免数据不一致1.6 消息重复的场景及解决方案1.6.1 生产者端重复1.6.2 消费者端重复1.7 _consumer_offsets...原创 2020-09-07 00:56:25 · 355 阅读 · 0 评论 -
kafka-高级应用-消费组管理、数据通道connect、流式处理Spark-小白笔记（八）
1 kafka高级应用1.1 命令行工具参考官网 http://kafka.apache.org/22/documentation.html1.1.1消费组管理1.1.2消费位移管理原创 2020-09-07 01:21:41 · 278 阅读 · 0 评论 -
kafka-高级应用-SpringBoot整合kafka-小白笔记（八）
1 SpringBoot整合kafkaSpringBoot整合kafka简单方便。后文介绍了生产者、消费者、事务代码实现。1.1 添加依赖 <dependency> <groupId>org.springframework.kafka</groupId> <artifactId>spring-kafka</artifactId> <version原创 2020-09-08 23:53:06 · 548 阅读 · 0 评论 -
kafka-集群管理-集群的特点、能力、集群的搭建、多集群同步-小白笔记（九）
1 集群管理1.1 集群的特点1.2 集群的能力1.3 集群的使用场景1.4 集群的搭建1.4.1 搭建zookeeper集群1.4.2 搭建kafka集群集群目录：解压安装包复制，根据需要的节点数复制相应份数。修改每份安装包的server.properties文件，如下所示下面的这些配置必须都要修改修改后启动即可，很简单。1.5 多集群同步1.5.1 配置...原创 2020-09-09 23:37:08 · 499 阅读 · 0 评论 -
kafka-监控-JMX、JConsole、监控指标、kafka Eagle-小白笔记（十）
1 kafka监控1.1 监控度量指标1.1.1 JMX1.1.2 JConsole1.1.3 编程手段获取监控指标1.2 broker监控指标1.2.1 活跃监控器1.2.2 请求处理器空闲率1.2.3 主题流入字节1.2.4 主题流出字节1.2.5 主题流入的消息1.2.6 分区数量1.2.7 首领数量1.3 主题分区监控1.3.1 主题实例的度量指标1.3.2...原创 2020-09-12 12:41:49 · 616 阅读 · 0 评论