Kafka 系列 —（2）Kafka 安装与配置（从零到可运行）

最新推荐文章于 2025-11-24 09:42:21 发布

原创

最新推荐文章于 2025-11-24 09:42:21 发布 · 126 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#kafka #分布式

5.Kafka 常用配置（生产环境核心配置）

7.Kafka 集群模式安装（3 节点示例）

7.1 修改三台服务器的 server.properties

7.2 启动 Zookeeper 集群

7.3 启动 Kafka Broker

8.Kafka KRaft（无 Zookeeper）安装（推荐 Kafka 3.x+）

9.常见问题（FAQ）

1. 远程客户端无法连接？

2. Kafka 报错 “Connection refused”？

3. Topic 创建失败？

4. 消费者不消费数据？

10.Kafka 安装最佳实践

1.Kafka 安装前准备

系统要求

Linux 推荐（CentOS / Ubuntu / Debian 均可）
Java 8+ 或 OpenJDK 11+
4GB+ RAM（最低需求）
SSD 磁盘性能最佳

检查 Java

java -version

如果没有 Java，安装 OpenJDK 11：

sudo apt install openjdk-11-jdk

2.下载 Kafka

访问 Apache Kafka 下载地址（Stable 版本）：

https://kafka.apache.org/downloads

示例安装：

wget https://downloads.apache.org/kafka/3.6.0/kafka_2.13-3.6.0.tgz
tar -zxvf kafka_2.13-3.6.0.tgz
cd kafka_2.13-3.6.0

3.目录结构说明

├── bin/                 # Kafka 与 Zookeeper 启动脚本
├── config/              # 配置文件目录
│   ├── server.properties   # Kafka Broker 配置
│   ├── zookeeper.properties # Zookeeper 配置
│   └── producer.properties / consumer.properties
├── libs/                # JAR 包
└── logs/                # 运行日志

4.单机模式安装与启动

Kafka 的经典架构需要：

① Zookeeper
② Kafka Broker

4.1 启动 Zookeeper

bin/zookeeper-server-start.sh config/zookeeper.properties

默认端口：2181

4.2 启动 Kafka Broker

另开终端：

bin/kafka-server-start.sh config/server.properties

默认端口：9092

启动成功后 Kafka 即可运行。

5.Kafka 常用配置（生产环境核心配置）

以下内容适合写入 config/server.properties。

5.1 Broker ID

唯一标识一个 Kafka 节点：

broker.id=0

集群中必须唯一。

5.2 监听地址

允许外部访问：

listeners=PLAINTEXT://0.0.0.0:9092
advertised.listeners=PLAINTEXT://你的服务器IP:9092

(避免客户端无法访问的 “回环地址” 问题)

5.3 日志存储目录（非常重要！）

log.dirs=/data/kafka-logs

建议使用 SSD。

5.4 副本数与分区数

num.partitions=3
default.replication.factor=3

集群环境使用，单机只需 1。

5.5 连接数限制（提升并发能力）

num.network.threads=8
num.io.threads=16
queued.max.requests=500

最低0.47元/天解锁文章