Apache Kafka 安装部署

原创 于 2025-11-18 15:03:05 发布 · 458 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#apache #kafka

Apache Kafka 安装部署

1、下载并解压 Kafka

下载安装包：https://archive.apache.org/dist/kafka/2.4.1/kafka_2.12-2.4.1.tgz
解压 tgz 包：

tar -xvzf kafka_2.12-2.4.1.tgz

2、配置 ZooKeeper（Kafka 内置）

Kafka 依赖 ZooKeeper 管理集群元数据，2.4.1 版本内置 ZooKeeper，可直接使用。

  1. 进入配置目录：
cd /opt/kafka/kafka_2.12-2.4.1/config
  1. 编辑 ZooKeeper 配置文件 zookeeper.properties：
vi zookeeper.properties

主要配置（按需修改）：

# 数据存储目录（默认/tmp，修改为持久化路径）
dataDir=/opt/kafka/zookeeper/data

# 端口（默认2181）
clientPort=2181

# 超时时间
maxClientCnxns=0
  1. 创建数据目录：
mkdir -p /opt/kafka/zookeeper/data

3、配置 Kafka 服务器

  1. 编辑 Kafka 配置文件 server.properties：
vi server.properties
  1. 关键配置项修改（根据实际环境调整）：
# 指定broker的id（集群中需不同，单机可设为0）
broker.id=0

# 监听地址（单机可设为当前服务器IP或0.0.0.0，允许外部访问）
listeners=PLAINTEXT://192.168.100.11:9092  # 替换为实际IP

# 日志存储目录（默认/tmp，需修改）
log.dirs=/opt/kafka/kafka-logs

# ZooKeeper 连接地址（单机默认本地）
zookeeper.connect=localhost:2181
  1. 创建日志目录：
mkdir -p /opt/kafka/kafka-logs

4、启动服务

需先启动 ZooKeeper，再启动 Kafka。

  1. 启动 ZooKeeper（后台运行）：
bin/zookeeper-server-start.sh -daemon config/zookeeper.properties

检查是否启动：jps（应看到 QuorumPeerMain 进程）

  1. 启动 Kafka 服务器（后台运行）：
bin/kafka-server-start.sh -daemon config/server.properties

检查是否启动：jps（应看到 Kafka 进程）

5、验证 Kafka 功能

  1. 创建一个测试主题（test-topic）：
bin/kafka-topics.sh --create --bootstrap-server 192.168.100.11:9092 --replication-factor 1 --partitions 1 --topic test-topic
  1. 查看主题列表：
bin/kafka-topics.sh --list --bootstrap-server 192.168.100.11:9092

应显示 test-topic

  1. 新开一个终端启动生产者发送消息
bin/kafka-console-producer.sh --broker-list 192.168.100.11:9092 --topic test-topic
# 输入测试消息，例如：Hello Kafka!
  1. 再开一个终端启动消费者接收消息：
bin/kafka-console-consumer.sh --bootstrap-server 192.168.100.11:9092 --topic test-topic --from-beginning
若能收到生产者发送的消息，说明配置成功。

6、停止服务

  1. 停止 Kafka：
bin/kafka-server-stop.sh
  1. 停止 ZooKeeper：
bin/zookeeper-server-stop.sh

7、docker 安装 Kafka-UI

   安装好之后，访问 http://192.168.100.11:8900/

docker run -d \--name kafka-ui \-p 8900:8080 \-e KAFKA_CLUSTERS_0_NAME=local \-e KAFKA_CLUSTERS_0_BOOTSTRAPSERVERS=192.168.100.11:9092 \-e KAFKA_CLUSTERS_0_ZOOKEEPER=192.168.100.11:2181 \
  provectuslabs/kafka-ui:latest
Kafka使用教程和案例详解
『愚』的博客
06-14 6477
本文详细介绍了 Kafka 的基本概念、安装配置、使用教程以及实际应用案例。Kafka 作为一个高性能的分布式消息系统，广泛应用于实时数据处理、日志收集、消息队列等领域。通过本文的介绍，相信读者可以掌握 Kafka 的基本使用方法，并能够在实际项目中应用 Kafka 提高数据处理能力。通过配置和使用 Kafka，开发者可以构建高效、可靠的流处理系统，满足各种实时数据处理需求。版权声明：原创博主：牛哄哄的柯南[哈哈][抱拳]加油！共同努力！Keafmd牛哄哄的柯南，期待你的。
kafka 的安装
三哥无邪
06-17 1307
kafka 单机版安装教程，没有那么多废话
Kafka安装教程（详细过程）
热门推荐
Poppy_Evan的博客
03-01 6万+
安装前期准备： 1，准备三个节点（根据自己需求决定） 2，三个节点上安装好zookeeper（也可以使用kafka自带的zookeeper） 3，关闭防火墙 chkconfig iptables off 一、下载安装包 Kafka官网下载安装包 http://kafka.apache.org/downloads.html 我们下载第二种（已经被编译过的），将安装包存在在 /s...
Kafka安装和使用
最新发布
西岭千秋雪的博客
11-14 1093
本文介绍了Apache Kafka的基本概念、安装与基础使用。Kafka作为高性能消息队列，适用于大数据日志收集场景，具有异步、削峰、解耦特性，但相比RabbitMQ等功能有所简化。文章详细展示了在Linux服务器安装Kafka的步骤、创建Topic、启动生产者/消费者的方法，并重点解析了消费者组的工作机制：同一消息可被不同消费者组同时消费，但同一消费者组内仅一个消费者能接收。核心概念包括Topic（逻辑消息单元）、Partition（实际存储队列）、Offset（消费进度标识）等。通过实例演示了多消费者组
Kafka详解
qq_41644412的博客
05-25 6632
consumer 提交offset的时候，kafka Offset manager会首先追加一条新的conmit消息到 _consumer_offset topic中，然后更新对应的缓存，读offset时从缓存中读取，而不是直接读取 _consumer_offset topic。如查找368801的offset消息。同一个Topic的每个分区中的数据是不重复的，partition的表现形式是一个一个文件夹。文件，每个 .log文件 的大小是一样的，但是里面存储的消息条数可能不相同（可能消息的大小不一致）。
Kafka学习笔记
weixin_30650859的博客
08-27 1928
本文转载来自：https://www.cnblogs.com/qingyunzong/p/9004703.html Kafka是Apache下的一个子项目，是一个高性能跨语言分布式发布/订阅消息队列系统,图展示了Kafka的相关术语以及之间的关系 上图一个topic配置了3个partition。Partition1有两个offset：0和1。Partition2有4个offs...
Kafka : Kafka入门教程和JAVA客户端使用
shangmingtao的博客
03-15 6万+
目录 目录 Kafka简介 环境介绍 术语介绍 消费模式 下载 集群安装配置 命令使用 JAVA实战 参考文献 Kafka简介 由Scala和Java编写,Kafka是一种高吞吐量的分布式发布订阅消息系统. 环境介绍 操作系统:centos6.5 kafka:1.0.1 zookeeper:3.4.6 术语介绍 Broker : Kafka集群包含一个或...
如何安装部署kafka
jkzyx123的博客
09-21 1145
安装和部署需要以下几个步骤，包括下载 Kafka、配置 ZooKeeper（或者使用 Kafka 自带的 Kafka Raft 模式替代 ZooKeeper），以及启动 Kafka 服务。以下是一个但基于 Linux 的典型安装流程，可以根据需要改装到其他操作系统。
Kafka安装部署指南
ITHomeZSL的博客
09-08 1067
Kafka 的安装和部署可以分为几个步骤，包括环境准备、下载安装、配置、启动和测试。这里提供一个基于 Linux 系统（如 CentOS 或 Ubuntu）的单机模式（Standalone）和集群模式（Cluster）的详细指南。
精选资源
Kafka安装部署与Java调用.zip
03-01
本资料主要涵盖了Kafka的安装部署以及Java API的调用方法，分为单机版和集群版两种环境。 ### Kafka安装部署 #### 单机版安装 1. **下载**: 首先，你需要从Apache Kafka的官方网站下载最新版本的Kafka。确保下载与...
Apache Kafka实战.pdf
02-21
《Apache Kafka实战》这本书深入浅出地介绍了...通过阅读《Apache Kafka实战》这本书，你可以深入了解Kafka的工作原理，学习如何设计、部署和维护一个高效、可靠的Kafka集群，并利用其强大的功能构建实时数据处理系统。
kafka安装部署详解
靖节先生的博客
11-07 1355
Zookeeper：无法加载主类，org.apache.zookeeper.server.quorum.QuorumPeerMain。下载文件apache-zookeeper-3.5.7-bin.tar.gz 才是启动zookeepr需要的，千万别下载错。zookeeper必须下载含有bin开头的tar包，若下载的不是bin开头的tar包，则会抛出找不到主类异常。若启动zkServer报错：找不到或无法加载主类，肯定是tar包版本下载不对。
Kafka （快速）安装部署
m0_62943934的博客
09-08 2万+
进行下载，Scala 2.12 和 Scala 2.13 主要是使用Scala编译的版本不同，两者皆可。接下来我们还需要在每个 zookeeper 节点的数据目录下创建对应的服务id文件与上面配置的。针对每个节点修改主机名称，查看当前主机的ip地址并固定，添加子网掩码，网关，DNS1。Kafka一般情况下都是分布式架构的，单机节点的使用情况基本不存在——了解即可。当然，也可以只安装并配置一台zookeeper，然后将整个软件拷贝过去。环境变量，以及将$ZK_HOME/bin文件夹加入PATH环境变量中。
Kafka
sinat_34814635的博客
12-20 1万+
一、基础概念 关键术语 1.主题（topic）：一个 topic 里保存的是同一类消息，相当于对消息的分类，每个 producer 将消息发送到 kafka 中，都需要指明要存的 topic 是哪个，也就是指明这个消息属于哪一类。 2.分区（partition）：每个 topic 都可以分成多个 partition，每个 partition 在存储层面是 append log 文件。任何发布到此 partition 的消息都会被直接追加到 log 文件的尾部。为什么要进行分区呢？最根本的原因就.
kafka全解
General_zy的博客
02-28 3万+
Kafka传统定义： Kafka是一个分布式的基于发布/订阅模式的消息队列（Message Queue），主要应用于大数据实时处理领域。发布/订阅：消息的发布者不会将消息直接发布给特定的订阅者，而是将发布的消息分为不同的类别，订阅者只接收感兴趣的消息。Kafka最新定义：Kafka是一个开源的分布式事件流平台（Event Streaming Platform），被数千家公司用于高性能的数据管道、流分析、数据集成和关键任务应用。
kafka安装部署
m0_46192647的博客
03-11 4万+
一、安装kafka 下载kafka两种方式 （1）、手动下载 下载地址：Apache Kafka （2）、也可以用命令下载（直接下载到服务器哦！）： 将安装包下载到/opt/monitor/kafka文件夹下面 下载命令： wget http://mirrors.hust.edu.cn/apache/kafka/2.0.0/kafka_2.12-2.0.0.tgz 手动下载移动到/opt/monitor/kafka目录下也可以 二、解压kafka tar -xzvf kafk
Kafka 安装教程和基本操作
一念之间 一心向阳
05-23 5291
Kafka安装教程和基本操作
Kafka安装及快速入门教程_Kafka2.2.1_云峦操作系统[KOS]
KeyarchOS的博客
10-30 843
Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。对于像Hadoop一样的日志数据和离线分析系统，但又要求实时处理的限制，这是一个可行的解决方案。
人人都说kafka，何为kafka？？？三分钟kafka原理详解~
indexqian的博客
12-20 8578
适合新手简单快速上手kafka
Apache Kafka的安装部署
10-24
以下是Apache Kafka的安装部署步骤： 1. 下载Kafka二进制文件，可以从官网下载或者使用引用中提供的下载地址。 2. 解压Kafka二进制文件到指定文件夹。 3. 配置Kafka，包括修改配置文件和创建数据目录。 4. 启动Kafka...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值