利用UpTrain提升大语言模型应用的性能与质量

最新推荐文章于 2025-08-04 22:01:45 发布

qq_37836323

最新推荐文章于 2025-08-04 22:01:45 发布

阅读量409

点赞数 3

CC 4.0 BY-SA版权

文章标签： python

本文链接：https://blog.youkuaiyun.com/qq_29929123/article/details/149251209

在现代应用中，尤其是在与大型语言模型（LLM）或高频查询的交互中，限流是一个关键组件。本文将探讨如何使用Upstash Ratelimit Handler来实现基于请求数或令牌数的限流。Upstash Ratelimit通过调用Upstash Redis发送HTTP请求每次在调用限制方法时更新用户的令牌/请求状态。这样我们可以在用户超过限制之前停止执行诸如调用LLM或查询向量存储等昂贵的操作。

技术背景介绍

Upstash是一种云端Redis服务，专为高性能和弹性设计。它提供了一种高效的限流库，通过与Redis数据库的集成，确保限流规则的实施。限流通常用于控制用户请求频率，防止滥用资源，同时优化系统性能。

核心原理解析

Upstash Ratelimit的运行机制是在用户请求时，检查并更新剩余令牌/请求数量。通过限流算法，如FixedWindow，它在设定窗口期内限制请求或令牌的数量。根据不同的限流需求，可选择不同的配置。

代码实现演示

下面的例子展示了如何对每个请求进行限流。

环境变量设置

首先，需要设置环境变量以连接Upstash Redis：

import os

os.environ["UPSTASH_REDIS_REST_URL"] = "your-upstash-redis-url"
os.environ["UPSTASH_REDIS_REST_TOKEN"] = "your-upstash-redis-token"

安装必需的库

确保安装Upstash Ratelimit和Redis库：

pip install upstash-ratelimit upstash-redis

请求限流示例

以下代码实现了每分钟最多允许10次请求的限流：

from langchain_community.callbacks import UpstashRatelimitError, UpstashRatelimitHandler
from langchain_core.runnables import RunnableLambda
from upstash_ratelimit import FixedWindow, Ratelimit
from upstash_redis import Redis

# 创建限流配置
ratelimit = Ratelimit(
    redis=Redis.from_env(),
    limiter=FixedWindow(max_requests=10, window=60),
)

# 创建限流处理器
user_id = "user_id"  # 应为获取用户ID的方法
handler = UpstashRatelimitHandler(identifier=user_id, request_ratelimit=ratelimit)

# 创建模拟链
chain = RunnableLambda(str)

# 使用处理器调用链
try:
    result = chain.invoke("Hello world!", config={"callbacks": [handler]})
except UpstashRatelimitError:
    print("Handling ratelimit.", UpstashRatelimitError)

令牌限流示例

对于基于令牌的限流，配置类似，只需调整限流规则：

# 创建限流配置
ratelimit = Ratelimit(
    redis=Redis.from_env(),
    limiter=FixedWindow(max_requests=1000, window=60),
)

handler = UpstashRatelimitHandler(identifier=user_id, token_ratelimit=ratelimit)