FastStream：轻松构建事件流服务的Python框架-优快云博客

本文链接：https://blog.youkuaiyun.com/gitblog_00493/article/details/148550364

FastStream：轻松构建事件流服务的Python框架

faststream FastStream is a powerful and easy-to-use Python framework for building asynchronous services interacting with event streams such as Apache Kafka, RabbitMQ, NATS and Redis. 项目地址: https://gitcode.com/gh_mirrors/fa/faststream

什么是FastStream？

FastStream是一个专为Python开发者设计的现代化框架，用于简化事件流服务的开发过程。它提供了一套简洁而强大的API，让开发者能够轻松构建基于消息队列的生产者和消费者服务，而无需关心底层的网络通信和消息解析细节。

核心特性

多消息代理支持

FastStream支持多种主流消息代理系统，包括：

Kafka（通过AIOKafka和Confluent实现）
RabbitMQ
NATS
Redis

开发者可以使用统一的API与这些消息代理交互，大大降低了系统迁移和集成的复杂度。

强大的数据验证

基于Pydantic的数据模型验证系统，FastStream能够：

自动验证输入消息的结构
提供类型提示和自动补全
确保数据的一致性和正确性

自动文档生成

FastStream会自动为你的服务生成AsyncAPI规范的文档，包括：

消息通道定义
消息格式说明
服务接口描述

依赖注入系统

内置的依赖注入系统让服务组件管理变得简单，支持：

服务间依赖声明
生命周期管理
测试替身注入

测试友好

提供内存测试工具，支持：

单元测试
集成测试
端到端测试

快速入门

安装

根据你使用的消息代理选择安装命令：

# Kafka (AIOKafka)
pip install 'faststream[kafka]'

# Confluent Kafka
pip install 'faststream[confluent]'

# RabbitMQ
pip install 'faststream[rabbit]'

# NATS
pip install 'faststream[nats]'

# Redis
pip install 'faststream[redis]'

基础示例

下面是一个简单的FastStream应用示例，它从输入队列消费数据并处理后发布到输出队列：

from faststream import FastStream
from faststream.kafka import KafkaBroker

broker = KafkaBroker("localhost:9092")
app = FastStream(broker)

@broker.subscriber("input_topic")
@broker.publisher("output_topic")
async def handle_msg(data: dict) -> dict:
    # 处理逻辑
    processed_data = {"result": data["value"] * 2}
    return processed_data

使用Pydantic模型

FastStream与Pydantic完美集成，可以定义强类型的消息模型：

from pydantic import BaseModel
from faststream import FastStream
from faststream.rabbit import RabbitBroker

broker = RabbitBroker("amqp://guest:guest@localhost:5672/")
app = FastStream(broker)

class InputData(BaseModel):
    user_id: int
    value: float

class OutputData(BaseModel):
    result: float

@broker.subscriber("input_queue")
@broker.publisher("output_queue")
async def process_data(data: InputData) -> OutputData:
    return OutputData(result=data.value * 1.1)

测试你的服务

FastStream提供了便捷的测试工具，可以在不启动实际消息代理的情况下测试服务逻辑：

from faststream.testing import TestKafkaBroker
from your_app import broker, handle_msg

def test_handle_msg():
    async with TestKafkaBroker(broker) as tester:
        await tester.publish({"value": 10}, "input_topic")
        handle_msg.mock.assert_called_once()
        assert handle_msg.mock.call_args[0][0] == {"value": 10}

运行服务

安装FastStream CLI工具后，可以方便地启动服务：

pip install "faststream[cli]"
faststream run your_module:app

CLI还支持热重载和多进程模式：

# 热重载模式
faststream run your_module:app --reload

# 多进程模式(3个工作进程)
faststream run your_module:app --workers 3

与其他框架集成

FastAPI集成

FastStream可以作为FastAPI的插件使用，实现HTTP和消息处理的统一：

from fastapi import FastAPI
from faststream.kafka import KafkaRouter

app = FastAPI()
router = KafkaRouter("localhost:9092")

@router.subscriber("input_topic")
async def handle_kafka_message(data: dict):
    # 处理Kafka消息
    return {"processed": True}

app.include_router(router)

通用框架集成

FastStream可以集成到任何Python Web框架中：

from aiohttp import web
from faststream.rabbit import RabbitBroker

broker = RabbitBroker("amqp://guest:guest@localhost:5672/")

async def on_startup(app):
    await broker.start()

async def on_shutdown(app):
    await broker.close()

app = web.Application()
app.on_startup.append(on_startup)
app.on_shutdown.append(on_shutdown)

@broker.subscriber("test_queue")
async def handle_message(body: str):
    print(f"Received: {body}")