9、使用 Ray 构建流式应用：从 Kafka 集成到扩展与处理

使用 Ray 构建流式应用：Kafka 集成与处理

最新推荐文章于 2025-10-24 13:57:58 发布

香菜滚出地球

最新推荐文章于 2025-10-24 13:57:58 发布

阅读量54

点赞数

CC 4.0 BY-SA版权

分类专栏：用Ray扩展Python：分布式计算与机器学习的新时代文章标签： Ray Kafka 流式应用

本文链接：https://blog.youkuaiyun.com/smartcontract5/article/details/149640440

用Ray扩展Python：分布式计算与机器学习的新时代专栏收录该内容

20 篇文章 ¥499.90

订阅专栏¥69.90

会员秒杀 ¥9.9 重磅福利

超级会员免费看

使用 Ray 构建流式应用：从 Kafka 集成到扩展与处理

1. 扩展 Kafka 应用实现

在 Kafka 应用中，生产者的消息会被分发到不同的分区，但始终由单个消费者接收和处理。当一切正常运行后，我们可以通过增加 Kafka 消费者的数量来扩展应用（前提是主题有足够的分区）。例如，代码已经支持通过设置 n_consumer = 5 来轻松增加消费者数量。重新运行代码后，会得到类似如下的输出：

Topic  test  is deleted
Topic  test  is created
2021-08-23 17:15:12,353 INFO services.py:1264 -- View the Ray dashboard at http://...
(pid=20100) Message delivered to topic  test  partition  8  offset 0
(pid=20100) Message delivered to topic  test  partition  2  offset 0
(pid=20103) Consumer  9e2773d4-f006-4d4d-aac3-fe75ed27f44b
(pid=20103) Assignment: [TopicPartition{topic=test,partition=0,offset=-1001,error=...
...

这里，五个 Kafka 消费者各自开始监听 2 个分区（主题使用 10 个分区）。当消息被分发到不同分区时，会由不同的消费者实例进行处理。 </