python之kafak应用demo

zwwnzb

已于 2023-04-12 14:57:27 修改

阅读量612

点赞数

分类专栏： python 工具文章标签： kafka java-zookeeper zookeeper

于 2022-07-27 17:59:39 首次发布

本文链接：https://blog.youkuaiyun.com/zwwnzb/article/details/126019874

版权

python 同时被 2 个专栏收录

5 篇文章

订阅专栏

工具

2 篇文章

订阅专栏

本文介绍了Kafka的基础知识，包括安装步骤、依赖环境（Java）、启动Zookeeper和Kafka服务。通过Python示例展示了如何创建生产者和消费者，以及使用命令行工具创建、查看和管理topics。此外，还讲解了Kafka的分区概念，如何修改分区数以及数据存储结构。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

使用kafka之前先学习下基础知识：引用：细说 Kafka Partition 分区_性能与架构的博客-优快云博客_kafka partition

以本地为例子：

kafka版本kafka_2.12-3.2.0

1、首先安装kafka，可以通过安装包的形式

2、进入到kafka安装的目录下的bin目录下

启动kafka，但是启动kafka需要依赖zookeeper 所以先启动zookeeper

./zookeeper-server-start.sh ../config/zookeeper.properties 不要关闭窗口

2、启动Kafka

./kafka-server-start.sh ../config/server.properties

期间启动kafka失败 java.net.ConnectException: Connection refused

缺少java环境 No Java runtime present, requesting install.

3、下载安装java环境jdk

Apache Kafka

安装户，在重新启动kafka即可

4、开始写脚本

生产者

#!/bin/env python
# encoding=utf-8
from kafka import KafkaProducer;
import json;

producer = KafkaProducer(
    value_serializer=lambda v: json.dumps(v).encode('utf-8'),
    bootstrap_servers=['127.0.0.1:9092']
)
msg_dict = {
    "operatorId": "test",  # 公交公司ID
    "terminalId": "123",  # 设备Id
    "terminalCode": "123",  # 设备编码（使用车辆ID）
    "terminalNo": "1",  # 同一车辆内terminal序号从1开始
}

producer.send("text1", msg_dict)
producer.close()

命令的形式

bin/kafka-console-producer.sh --bootstrap-server 127.0.0.1:9092 --topic text1

# bootstrap_servers 连接的Kafka Broker 主机名称和端口号  --topic 后面是主题名

消费者

#!/bin/env python
# encoding=utf-8

from kafka import KafkaConsumer;

consumer = KafkaConsumer('text1', bootstrap_servers='127.0.0.1:9092')
for msg in consumer:
    print(msg.value.decode())

使用分组形势

#!/bin/env python
# encoding=utf-8

from kafka import KafkaConsumer;

# text1 为只从的消费的主题topic

consumer = KafkaConsumer('text2',  bootstrap_servers='127.0.0.1:9092')

# 指定分区 group_id='123456' 指定分区，如果不指定分区，则发放的消息，会多次被消费者消费。比如成产一个消息，启动两个消费者，则会收到2个消费消息
consumer = KafkaConsumer('text2', group_id='1234567', bootstrap_servers='127.0.0.1:9092')
for msg in consumer:
    print(msg.value.decode())

执行生产者的脚本时，要保证消费者脚本是启动状态

命令行语法

bin/kafka-console-consumer.sh --bootstrap-server test1:9092 --from-beginning --topic first

参数说明	描述
--bootstrap-server	连接的 Kafka Broker 主机名称和端口号
--topic	操作的 topic 名称
--from-beginning	从头开始消费
--group	指定消费者组名称

安装python插件kafka

pip install kafka

执行结果

localhost:kafka zhangweiwei$ python consumer.py
{"terminalNo": "1", "terminalCode": "123", "operatorId": "test", "terminalId": "123"}
{"terminalNo": "1", "terminalCode": "123", "operatorId": "test", "terminalId": "123"}
{"terminalNo": "1", "terminalCode": "123", "operatorId": "test", "terminalId": "123"}
{"terminalNo": "1", "terminalCode": "123", "operatorId": "test", "terminalId": "123"}

其他查看操作命令可以查看参数性质

./kafka-topics.sh

查看当前服务器中的所有topic bin为kafka的安装包下的bin目录, 一下kafka均是在本地验证 hadoop102 可以替代为127.0.0.1

bin/kafka-topics.sh --bootstrap-server hadoop102:9092 --list # hadoop102集群

或者bin/kafka-topics.sh --bootstrap-server 127.0.0.1:9092 --list 本地测试用的

创建first topic

bin/kafka-topics.sh --bootstrap-server hadoop102:9092 --create --partitions 1 --replication-factor 3 --topic first

创建topic时会提示： Replication factor: 3 larger than available brokers: 1.

原因是创建的topic 服本个数大于了brokers 的数量，，修改factor 副本个数重新执行创建，创建之前先查询下前有哪些topic

可以看到已经创建了first topic，共2个topic，text2和first

localhost:bin zhangweiwei$ ./kafka-topics.sh --bootstrap-server 127.0.0.1:9092 --list
__consumer_offsets
text2
localhost:bin zhangweiwei$ ./kafka-topics.sh --bootstrap-server 127.0.0.1:9092 --create --partitions 1 --replication-factor 1 --topic first
Created topic first.
localhost:bin zhangweiwei$ ./kafka-topics.sh --bootstrap-server 127.0.0.1:9092 --list
__consumer_offsets
first
text2

创建topic参数说明：