Kafka介绍与安装

最新推荐文章于 2025-09-13 23:14:06 发布

原创最新推荐文章于 2025-09-13 23:14:06 发布 · 221 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#kafka #java #linux

Kafka是一款分布式消息系统，常用于日志收集、消息解耦、用户活动追踪和运营指标监控。其核心概念包括broker、topic、producer、consumer及consumergroup。安装时，需配置监听端口、日志位置和Zookeeper连接地址，启动后即可运行。

一、kafka介绍

1，kafka简单介绍

kafka是一款分布式、支持分区的、多副本，基于zookeeper协调的分布式消息系统。最大的特性就是可以实时处理大量数据来满足需求。

2，kafka使用场景

1，日志收集：可以用kafka收集各种服务的日志，通过已统一接口的形式开放给各种消费者。

2，消息系统：解耦生产和消费者，缓存消息。

3，用户活动追踪：kafka可以记录webapp或app用户的各种活动，如浏览网页，点击等活动，这些活动可以发送到kafka，然后订阅者通过订阅这些消息来做监控。

4，运营指标：可以用于监控各种数据。

3，kafka基本概念

kafka是一个分布式的分区的消息，提供消息系统应该具备的功能。

名称	解释
broker	消息中间件处理节点，一个broker就是一个kafka节点，多个broker构成一个kafka集群。
topic	kafka根据消息进行分类，发布到kafka的每个消息都有一个对应的topic
producer	消息生产（发布）者
consumer	消息消费（订阅）者
consumergroup	消息订阅集群，一个消息可以被多个consumergroup消费，但是一个consumergroup只有一个consumer可以消费消息。

4，kafka的安装

#下载安装包
cd /usr/local
mkdir kafka
cd kafka/
#使用rz指令将文件上传至服务器
#解压
tar -xzvf kafka_2.11-2.4.0.tgz 
cd kafka_2.11-2.4.0/
#修改配置文件
cd config/
vim server.properties
#修改默认端口号
listeners=PLAINTEXT://127.0.0.1:9092
#修改日志位置
log.dirs=/usr/local/kafka/kafka-logs
#修改zookeeper地址
zookeeper.connect=116.63.178.139:2181

#启动
./kafka-server-start.sh -daemon  ../config/server.properties