厉害哥哥的博客

本节内容是关于kafka消息中间键的源码编译，并通过idea工具实现kafka服务器的启动，使用的kafka源码版本是3.6.1，由于kafka源码是通过gradle编译的，以及服务器是通过scala语言实现，我们要预先安装好gradle编译工具和scala环境，同时需要安装scala依赖的java环境jdk17。

本节内容是关于kafka集群节点的服役与退役，从而实现kafka集群的缩容与扩容。在开始本节内容之前，我们要预先安装好kafka集群，并准备一台空余的服务器用来完成我们扩容与缩容的案例。关于kafka集群的安装内容这里不在赘述，相关内容请查看作者往期博客内容。

通过flume监听nc端口的数据，将数据发送到kafka消息的first主题中，然后在通过flume消费kafka中的主题消息，将消费到的消息打印到控制台上。该案例证明了flume1成功采集到了nc监听端口的数据，并将数据发送到了kafka主题first中，flume2成功从kafka主题中消费到了数据并打印到了控制台。- 创建kafka监听的flume任务：job-kafka-flume-console.conf。- 启动job-kafka-flume-console.conf任务。

本节内容主要介绍kafka3.0版本以后，一种新的kafka集群搭建模式看kraft，在该模式下，kafka高可用不在依赖于zookeeper，用 controller 节点代替 zookeeper，元数据保存在 controller 中，由 controller 直接进 行 Kafka 集群管理。

本节内容我们主要介绍一下搭建kafka集群以及kafka集群的一个web客户端组件Kafka-Eagle的部署安装，使用的kafka版本是kafka_2.12-3.0.0。在搭建kafka集群之前，我们要预先搭建好zookeeper集群，这里作者默认zookeeper的集群环境已经搭建完成，可参考作者往期博客内容。新版本的kafka集群分为俩种搭建方式，一种依赖zookeeper，一种使用Kraft模式，本节内容我们主要介绍zookeeper模式的kafka集群搭建部署。

创建docker-compose脚本kafka-cluster.ymlversion: "3.3" services: #####################kafka集群相关配置#################################### #zookeeper集群 zk01: image: zookeeper:3.7.0 restart: always container_name: elk-cluster-zk01 hostnam

前言本节我们主要介绍一款kafka集群常用的管理工具kafka-eagle，实现kafka-eagle的docker镜像制作及发布,由于其官方没有提供docker镜像，我们自行构建一个镜像并发布运行。以下是其镜像制作的详细过程。效果如下：正文 下载kafka-eagle软件包并上传到centos服务器 ps:本文默认用户已经搭建好了docker的运行环境。①官网下载地址：Download - EFAK②上传到服务器 使用vi编辑器创建镜像脚本Dockerfi.

前言kafka消息中间键也是我们经常要用到的功能，尤其是在大数据、高并发的项目中，如日志收集、业务数据分发等等。其最核心的俩大功能作用是:①削峰填谷②异步解耦。本节我们主要介绍一下如何在springboot项目中集成kafka消息中间键，实现简单的数据分发以及消费的案例。正文 kafka集群搭建 快速搭建一个kafka集群，我们这里以docker环境为例，搭建一个kafka集群，具体搭建过程请参考以下博客，这里不再赘述。（六）史上最强ELK集群搭建系列教程——kafka集群搭建_北溟

前言本小节是我们kafka集群搭建，正文结语