Kafka安装配置以及使用

最新推荐文章于 2025-04-03 22:15:05 发布

北途

最新推荐文章于 2025-04-03 22:15:05 发布

阅读量398

点赞数

分类专栏：大数据文章标签： kafka

本文链接：https://blog.youkuaiyun.com/qq_32400615/article/details/102509965

版权

2 篇文章

订阅专栏

本文详细介绍了如何安装配置Kafka 2.10版本，包括依赖环境、安装步骤、配置修改、启动与关闭过程，以及对topic的基本操作，如查看、创建和消费者管理。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

本文所安装的Kafka为2.10版本，Zookeeper是3.4.14版本，安装目录为/usr/local/kafka/

1.环境

kafka依赖的环境有Java、zookeeper
zookeeper可单独安装，也可以直接用kafka自带的
2.安装Kafka
下载Kafka
```
 wget http://labfile.oss.aliyuncs.com/courses/859/kafka_2.10-0.10.2.1.tgz
```
解压
```
tar -zxvf kafka_2.10-0.10.2.1.tgz
```
进入到解压好的kafka目录
```
cd /usr/local/kafka/kafka_2.10-0.10.2.1/config
```
3.配置

修改配置文件server.properties

broker.id=0
port=9092 #端口号
host.name=172.30.0.9 #服务器IP地址，修改为自己的服务器IP
log.dirs=/usr/local/logs/kafka #日志存放路径，上面创建的目录
zookeeper.connect=localhost:2181 #zookeeper地址和端口，单机配置部署，localhost:2181

以上内容需要手动添加或者修改，仔细看一遍配置文件，哪些是已存在需要修改的

3.启动

先启动zookeeper，如果使用的是kafka自带的zookeeper，启动命令如下：

/usr/local/kafka/kafka_2.10-0.10.2.1/bin/zookeeper-server-start.sh /usr/local/kafka/kafka_2.10-0.10.2.1/config/zookeeper.properties &

注意要填写你自己的目录

启动kafka

/usr/local/kafka/kafka_2.10-0.10.2.1/bin/kafka-server-start.sh /usr/local/kafka/kafka_2.10-0.10.2.1/config/server.properties &

注意要填写你自己的目录

4.关闭

关闭zookeeper

/usr/local/kafka/kafka_2.10-0.10.2.1/bin/zookeeper-server-stop.sh /usr/local/kafka/kafka_2.10-0.10.2.1/config/zookeeper.properties &

关闭kafka

/usr/local/kafka/kafka_2.10-0.10.2.1/bin/kafka-server-stop.sh /usr/local/kafka/kafka_2.10-0.10.2.1/config/server.properties &

5.对topic的操作
查看所有topic的列表，在kafka的bin目录下执行
```
./kafka-topics.sh --zookeeper 172.16.185.31:2181 --list
```

查看指定topic信息

./kafka-topics.sh --zookeeper 172.16.185.31:2181 --describe --topic nginx-kafka

创建topic

  kafka-topics.sh --create --zookeeper 172.16.185.31:2181 --replication-factor 1 --partitions 1 --topic my-kafka-topic

列出消费者组

  bin/kafka-consumer-groups.sh --bootstrap-server 172.16.185.31:9092 --list

列出消费者组并加入一个新的

bin/kafka-console-consumer.sh --bootstrap-server 172.16.185.31:9092 --topic test --consumer-property group.id=test_group

启动生产者

  ./kafka-console-producer.sh --broker-list 172.16.185.31:9092 --topic nginx-kafka

消费者订阅消息

bin/kafka-console-consumer.sh --bootstrap-server 172.16.185.31:9092 :9092 --topic  nginx-kafka --from-beginning

kafka的安装还是比较简单的，没有遇到什么错误