只是甲的博客

文章目录一. 常见面试题1.1 Kafka 中的 ISR(InSyncRepli)、 OSR(OutSyncRepli)、 AR(AllRepli)代表什么？1.2 Kafka 中的 HW、 LEO 等分别代表什么？1.3 Kafka 中是怎么体现消息顺序性的？1.4 Kafka 中的分区器、序列化器、拦截器是否了解？它们之间的处理顺序是什么？1.5 Kafka 生产者客户端的整体结构是什么样子的？使用了几个线程来处理？分别是什么？1.6 消费组中的消费者个数如果超过 topic 的分区，那么就会有消费者消

文章目录一. Producer API1.2 异步发送普通生产者1.2 异步发送带回调函数的生产者1.3 生产者分区策略测试二. API消费者2.1 简单消费者2.2 消费者重置offset2.3 消费者保存offset读取问题2.4 消费者手动提交offset2.5 数据漏消费和重复消费分析2.6 自定义存储offset三. 自定义拦截器参考:一. Producer API消息发送流程  Kafka 的 Producer 发送消息采用的是异步发送的方式。在消息发送的过程中，涉及到了两个线程——ma

文章目录一. 工作流程二. 文件存储三. 生产者分区策略四. 生产者ISR4.1 副本数据同步策略4.1.1 半数follower同步完成即发送ack4.1.2 全部follower同步完成完成发送ack4.1.3 kafka的选择4.2 ISR(同步副本集)五. 生产者ack机制六. 数据一致性问题七. ExactlyOnce八. Kafka消费者分区分配策略8.1. 分区分配策略8.2. 消费者offset的存储九. 高效读写&Zookeeper作用9.1 高效读写9.2 zookeeper作用

文章目录一. 安装和启动Kafka1.1 Kafka的配置文件二. 创建一个主题来存储事件2.1 创建主题2.2 查看当前事件描述2.3 删除主题三. 在主题中加入一些事件四. 读事件六. 用kafka connect导入/导出你的数据作为事件流七. 用kafka流处理你的事件参考:一. 安装和启动Kafka我本地机器已经安装CDH 6.3.1版本，此处省略安装和启动Kafka的步骤。Kafka版本:2.2.1ps -ef|grep '/libs/kafka.\{2,40\}.jar'1.1 K

文章目录一.官网Kafka介绍1.1 什么是事件流?1.2 我可以使用事件流做什么?1.3 Apache Kafka®是一个事件流平台。这是什么意思?1.4 简而言之，Kafka是如何工作的?1.5 主要概念和术语二.Kafka简介2.1 Kafka消费模式2.2 Kafka的基础架构参考:一.官网Kafka介绍1.1 什么是事件流?事件流是相当于人体中枢神经系统的数字系统。它是“永远在线”世界的技术基础，在这个世界里，企业越来越多地由软件定义和自动化，软件的用户也更多地是软件。从技术上讲，事件流是