kafka的安装和启动

一、kafka介绍
1,kafka简单介绍
kafka是一款分布式、支持分区的、多副本,基于zookeeper协调的分布式消息系统。最大的特性就是可以实时处理大量数据来满足需求。

2,kafka使用场景
1,日志收集:可以用kafka收集各种服务的日志 ,通过已统一接口的形式开放给各种消费者。

2,消息系统:解耦生产和消费者,缓存消息。

3,用户活动追踪:kafka可以记录webapp或app用户的各种活动,如浏览网页,点击等活动,这些活动可以发送到kafka,然后订阅者通过订阅这些消息来做监控。

4,运营指标:可以用于监控各种数据。

3,kafka基本概念
kafka是一个分布式的分区的消息,提供消息系统应该具备的功能。

名称解释
broker消息中间件处理节点,一个broker就是一个kafka节点,多个broker构成一个kafka集群。
topickafka根据消息进行分类,发布到kafka的每个消息都有一个对应的topic
producer消息生产(发布)者
consumer消息消费(订阅)者
consumergroup消息订阅集群,一个消息可以被多个consumergroup消费,但是一个consumergroup只有一个consumer可以消费消息。

 


4,kafka的安装
下载安装包并解压
tar -xzvf


修改配置文件,先进入config文件夹

修改server.proerties文件

默认端口号


修改日志位置


zk地址,服务器ip:2181


在bin目录下启动
./kafka-server-start.sh -daemon …/config/server.properties


查看端口号是否有服务占用,有则启动成功

### 安装启动 Apache Kafka 服务 Apache Kafka 是一个高性能的分布式流处理平台,广泛用于实时数据处理。在 Windows 或 Linux 系统上安装启动 Kafka 需要一些前置步骤,以下是详细的安装启动流程。 #### 在 Windows 上安装启动 Kafka 1. **下载 Kafka** 访问 [Apache Kafka 官方网站](https://kafka.apache.org/downloads),选择适用于 Windows 的版本进行下载[^1]。通常,Windows 用户会使用包含 Windows 兼容脚本的 Kafka 发行包。 2. **解压文件** 下载完成后,将压缩包解压到一个合适的目录中,例如 `C:\kafka_2.13-3.0.0`(具体版本号可能不同)。 3. **启动 Zookeeper** Kafka 依赖于 Zookeeper 来管理集群元数据。在 Kafka 解压目录下,执行以下命令启动 Zookeeper: ```bash bin\windows\zookeeper-server-start.bat config\zookeeper.properties ``` 默认情况下,Zookeeper 会在 `localhost:2181` 上运行[^4]。 4. **启动 Kafka Broker** 打开一个新的命令提示符窗口,并执行以下命令来启动 Kafka 服务: ```bash bin\windows\kafka-server-start.bat config\server.properties ``` 这将启动 Kafka 并监听默认端口 `9092`[^4]。 5. **创建批处理文件简化启动过程(可选)** 在 Kafka 安装目录下创建一个 `.cmd` 文件(如 `kfk.cmd`),并写入以下内容以便双击启动 Kafka: ```batch call bin\windows\kafka-server-start.bat config\server.properties ``` #### 在 Ubuntu 上安装启动 Kafka 1. **安装 Java Zookeeper** Kafka 要求系统上已安装 Java Zookeeper。可以使用以下命令安装 OpenJDK Zookeeper: ```bash sudo apt update sudo apt install default-jdk zookeeperd ``` 2. **下载 Kafka** 使用 `wget` 或访问官网下载最新版本的 Kafka: ```bash wget https://downloads.apache.org/kafka/3.0.0/kafka_2.13-3.0.0.tgz ``` 3. **解压 Kafka** 解压下载的 Kafka 压缩包到合适的位置: ```bash tar -xzf kafka_2.13-3.0.0.tgz cd kafka_2.13-3.0.0 ``` 4. **启动 Kafka 服务** 执行以下命令来启动 Kafka 服务器: ```bash bin/kafka-server-start.sh config/server.properties ``` Kafka 将默认监听 `localhost:9092`[^3]。 #### 创建主题测试生产消费消息 1. **创建主题** Kafka 中的数据是按“主题”组织的,可以通过以下命令创建一个名为 `test-topic` 的主题: ```bash bin\windows\kafka-topics.bat --create --topic test-topic --bootstrap-server localhost:9092 --partitions 1 --replication-factor 1 ``` 2. **启动生产者消费者** 启动一个控制台生产者以向 Kafka 发送消息: ```bash bin\windows\kafka-console-producer.bat --broker-list localhost:9092 --topic test-topic ``` 在另一个终端窗口启动消费者以读取消息: ```bash bin\windows\kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic test-topic --from-beginning ``` 通过以上步骤,Kafka 可以成功安装并在 Windows 或 Linux 系统上运行,同时可以开始生产消费消息。 ---
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值