Kafka 学习笔记整理 20250624

Kafka深入学习及运维工作笔记

一、核心概念与设计

1. 基础知识

   • Kafka 知识体系梳理
   • Kafka 的主要特点及技术机制详解
   • 为何选择 Kafka？——Kafka 的核心优势与设计价值
   • RabbitMQ、RocketMQ、Kafka 对比表格

2. 消息传递机制

   • Kafka 消息投递语义及开发者控制机制详解

3. 架构解析

   • Kafka 集群的高可用性
   • Kafka 日志段（log segment）
   • Kafka 的内存缓冲区

---

二、运维与部署

1. 部署实践

   • Kafka部署
   • 使用Kafka 3.2.3内置的Zookeeper
   • Strimzi Kafka Operator

2. 配置管理

   • Kafka 的配置文件
   • Kafka 关键参数的解释和作用
   • Kafka 参数的整理说明
   • 适用于生产环境的 Kafka 参数配置模板

3. 分区与副本

   • Kafka修改分区和副本数量
   • Kafka：在线副本数

4. 主题操作

   • Kafka 主题的分布情况
   • Kafka文件目录介绍

---

三、监控与巡检

1. 巡检框架

   • Kafka 巡检脚本框架
   • Kafka 多实例 + 多节点 + Prometheus 集成的完整巡检脚本/体系框架

2. 监控指标

   • Kafka 当前连接数 和 文件描述符使用率 的 Bash 脚本
   • Kafka Listener 连接数
   • kafka_exporter_run.sh脚本解读

3. 日志分析

   • Kafka集群的日志分析-min.insync.replicas

---

四、性能优化与调优

1. JVM 管理

   • Kafka 的 JVM 到底是什么东西？
   • Kafka 的 JVM 配置依据是什么？
   • Kafka JVM 内存使用率告警信息分析与优化建议

2. 性能测试

   • Kafka性能测试

3. 存储优化

   • Kafka 的异步刷盘机制
   • Kafka Topic 的大小

---

五、故障排查

1. 资源限制

   • Kafka：java.io.IOException: Too many open files
   • Kafka error sending message: Failed to allocate memory within the configured max blocking time 60000

2. 消息阻塞

   • Kafka error sending message: Expiring 172 record(s) for [topic_name]: 120000 ms has passed since
   • Kafka 数据写入问题

---

六、安全与权限

1. 鉴权配置

   • Kafka集群以开启客户端鉴权
   • Kafka的权限配置中，匹配模式
   • /opt/kafka/bin/kafka-configs.sh --bootstrap-server

2. 配额管理

   • Kafka配额

---

七、工具与生态

1. 客户端工具

   • kcat - Apache Kafka producer and consumer tool
   • Kafka如何查看topic的数据

2. 数据集成

   • Kafka Connect
   • Filebeat、Logstash和Fluentbit – Kafka
   • confluent-kafka

3. Broker管理

   • Kafka Broker API
   • Kafka查看Broker 的状态

---

八、学习路径

1. 学习指南
   • Kafka 三期培训大纲（完善版）
   • Kafka的学习路径规划
   • kafka入坑

---

整理依据：文章内容关联性（如监控类归入巡检、JVM相关归入性能优化）、技术层次（基础概念/高级调优）、应用场景（部署/安全/工具链）。