11 月 12 号晚上,我给一个代码任务批量补历史数据,把请求间隔从 500ms 拉到 1s,429 还是没停。
原因很直接:降低请求频率只影响 RPM。撞到每分钟 Token、并发连接数或账户额度时,频率降一半照样限速。正确的排查方式是分开测试 RPM、输入 Token 和并发数,再根据响应头决定退避时间。
按 2026 年 11 月 15 日实时模型目录核对,模型 ID 是 glm-5.3。目前公开素材没有给出 GLM-5.3 的官方 RPM、TPM、并发上限和 API 单价,下面不会瞎填。
为什么请求频率降了一半,429 还在?
同一个 HTTP 429,背后可能有这几类限制:
| 观察到的现象 | 更可能撞到什么 | 应该怎么处理 |
|---|---|---|
| 短请求连续发送后报错 | RPM,每分钟请求数 | 降低发送速率 |
| 长上下文更容易报错 | TPM,每分钟 Token 数 | 缩短输入、控制输出 |
| 单请求正常,并行就报错 | 并发连接数 | 信号量限并发、增加队列 |
| 所有请求持续失败 | 余额、项目额度或 Key 权限 | 查账单与项目配置 |
| 不同入口表现不同 | 聚合网关或上游模型限流 | 同时检查网关与上游响应 |
TPM 的统计口径可能包含输入、输出或缓存 Token,具体看服务商文档。这里的“输入量测试”是通过固定输出、增加输入来定位压力来源,不代表服务商只统计输入。
整个排查链路可以压缩成这张图:
flowchart TD
A[收到 HTTP 429] --> B{错误 code 是什么}
B -->|insufficient_quota| C[检查余额/项目/Key]
B -->|rate_limit_exceeded| D[读取响应头]
D --> E[单独测试 RPM]
E --> F[单独测试输入 Token]
F --> G[单独测试并发连接]
G --> H[限并发+排队+随机退避]
为什么会出现这个问题
我当时抓到的完整错误长这样:
openai.RateLimitError: Error code: 429
{"error":{"message":"Rate limit reached for model glm-5.3. Please retry later.",
"type":"rate_limit_error","param":null,"code":"rate_limit_exceeded"}}
这是 OpenAI 兼容接口的常见格式示例,不是 GLM-5.3 官方承诺永远返回的固定文案。真正排障时,要保存自己收到的错误体和请求 ID。
还有一种错误也是 429,处理方式却完全不同:
HTTP 429
{"error":{"message":"You exceeded your current quota. Please check your plan and billing details.",
"type":"insufficient_quota","param":null,"code":"insufficient_quota"}}
遇到 rate_limit_exceeded,优先做限速和退避;遇到 insufficient_quota,去检查余额、套餐和 Key 所属项目。别一看 429 就无脑重试,挺烦人的,越重试队列堵得越长。
Web 或客户端订阅也不能直接等同于 API 配额。Claude Code Issue #16157 有 728 个点赞,反馈 Max 订阅快速触发 usage limits;Issue #38335 有 546 个点赞,讨论会话限额异常耗尽。这些案例只能说明不同产品层可能采用不同限额,不能直接套到 GLM-5.3 上。具体规则仍要向当前服务商确认。
方案一:先把响应头和错误体完整打出来
别只打印一个 429。状态码、响应头、错误体、模型 ID 和请求时间都要保留。
r = requests.post(url, headers=headers, json=payload)
print("status:", r.status_code)
print("headers:", dict(r.headers))
print("body:", r.text)
可以重点找下面这些字段,但不是每个平台都会返回:
| 响应头 | 用途 |
|---|---|
Retry-After | 服务端要求等待的秒数或 HTTP 日期 |
x-ratelimit-limit-requests | 请求数上限 |
x-ratelimit-remaining-requests | 剩余请求数 |
x-ratelimit-limit-tokens | Token 上限 |
x-ratelimit-reset-* | 对应配额的重置时间 |
x-request-id | 交给服务商定位日志 |
如果只想先看关键字段,可以这样写:
for k, v in r.headers.items():
if "limit" in k.lower() or "retry" in k.lower():
print(k, v)
没看到这些响应头,不代表没有限额。有些网关只返回错误 JSON,这时只能结合后台用量曲线定位。
方案二:把 RPM、输入量和并发拆开测
这是排障的关键。三个变量一起动,测完只会更懵。
1. 单独测试每分钟请求数
固定短提示词和低输出,把并发保持为 1,再逐步提高发送频率。每轮至少覆盖一个完整的 60 秒窗口,轮次之间等配额重置。
计算式很简单:
实测 RPM = 60 秒内成功请求数 + 被限速请求数
429 比例 = 429 请求数 ÷ 总请求数
如果在短输入、单并发的情况下,随着请求数增加稳定出现 429,RPM 就是主要嫌疑。
别一上来每秒打十几个请求。说实话,一开始我是拒绝慢慢测的,后来被重试风暴教育了:暴力压测只会把滑动窗口灌满。
2. 单独测试每分钟输入量
保持请求间隔不变,并发仍设为 1,只增加输入长度。输出上限也别动,免得输出 Token 干扰结果。
建议按 1 倍 → 2 倍 → 4 倍 增加输入,不要拿字符数硬猜 Token。最好使用当前模型或服务商认可的 tokenizer;如果没有公开 tokenizer,只能把输入长度作为近似值,并记录误差。
输入压力可以这样估算:
输入 TPM ≈ 60 秒内所有请求的输入 Token 总和
总压力 ≈ 输入 Token + 输出 Token + 可能计入的缓存 Token
请求数量没变,换成长输入后开始报 429,缩短上下文通常比继续降低请求频率更有效。RAG 场景里很常见:召回结果塞了几十段,RPM 看着不高,Token 窗口早就顶满了。
3. 单独测试并发连接数
固定每轮的请求总量和输入长度,只调整同时进行的请求数,比如 1 → 2 → 4 → 8。每轮结束后等窗口恢复,别把上一轮的压力带到下一轮。
这里要记录的是活跃请求峰值,不是“发送了几个”:
并发数 = 当前尚未收到完整响应的请求数量
流式响应会长时间占用连接。你可能一分钟只发 10 次,但每次生成都很慢,8 条流同时挂着,照样可能撞上并发限制。
我目前没找到比“固定其他变量、逐档提高并发”更可靠的通用办法。服务商直接返回并发剩余量当然省事;不返回,就只能老老实实做控制变量实验。
方案三:用限并发、排队和随机退避兜底
问题定位清楚后,生产环境不能靠 sleep(1) 硬扛。
我通常从下面这组参数开始。它们只是偏保守的工程初值,不是 GLM-5.3 官方限额:
| 参数 | 起始值 | 调整依据 |
|---|---|---|
| Worker 数 | 2 | 并发测试后再提高 |
| 队列容量 | 50 | 超过后快速失败,防止内存堆积 |
| 最大重试次数 | 5 | 防止无限重试 |
| 基础退避 | 0.5 秒 | 无 Retry-After 时使用 |
| 退避上限 | 30 秒 | 防止单任务无限等待 |
| 排队超时 | 60 秒 | 超时后交给上层降级 |
| 安全系数 | 0.8 | 给突发流量留 20% 空间 |
并发可以根据实测数据重算,没必要拍脑袋:
目标并发 = floor(RPM 上限 × 平均响应秒数 ÷ 60 × 安全系数)
比如已经从服务商后台确认 RPM 上限为 R,实测平均响应时间为 L 秒,并发初值可以写成:
C = floor(R × L ÷ 60 × 0.8)
R 必须换成你自己的真实配额。本文没有 GLM-5.3 的官方 RPM 数字,示例参数不能当成平台承诺。
Python 里先用信号量卡住并发:
sem = asyncio.Semaphore(2)
async with sem:
result = await call_model()
队列也要设上限,别让流量高峰把内存吃光:
queue = asyncio.Queue(maxsize=50)
await asyncio.wait_for(
queue.put(job), timeout=60
)
退避时优先服从 Retry-After。没有这个响应头,再用 full jitter:
cap, base = 30, 0.5
raw = min(cap, base * 2 ** attempt)
delay = float(retry_after) if retry_after else random.uniform(0, raw)
await asyncio.sleep(delay)
随机抖动不能省。假设 20 个 Worker 同时收到 429,固定等待 10 秒,它们就会在第 10 秒一起冲回去,再撞一次,然后继续一起冲。场面非常整齐,系统也非常惨。
Retry-After 可能是秒数,也可能是 HTTP 日期。上面的短代码只处理了秒数格式,生产代码还要补上日期解析。我也不确定所有兼容网关是否都严格遵循这个标准,至少要把原始值记进日志。
方案四:区分官方入口和聚合 API 的两层限流
使用聚合 API 时,429 可能来自平台自身,也可能来自上游模型。需要同时保存请求 ID、响应头和错误体,不能只看客户端抛出的异常。
OpenRouter、Together AI 和 ofox.io 都属于可排查的国际聚合平台选项;ofox.io 提供按 Model、User 与 API Key 查看请求成功率、Token、费用和平均延迟的用量后台,遇到 429 时可以先确认是哪个 Key、哪一分钟、哪种模型出现尖峰。
兼容接口的基础调用可以这样配置:
from openai import OpenAI
client = OpenAI(
api_key="your-key",
base_url="https://api.ofox.io/v1"
)
模型必须使用目录里的模型 ID:
result = client.chat.completions.create(
model="glm-5.3",
messages=[{"role": "user", "content": "ping"}]
)
2026 年 11 月 15 日的目录确认该 ID 存在,但具体账户是否有权限、429 是否计入限额、各级账户的 RPM 与 TPM,仍应以实际后台和服务商规则为准。
常见问题 FAQ
Q:glm-5.3 报 429,是不是充值就能解决?
不一定。insufficient_quota 更偏向余额、套餐或项目额度问题;rate_limit_exceeded 通常要先检查 RPM、Token 和并发。直接充值可能完全没用。
Q:为什么降低一半请求频率,还是出现 rate_limit_error?
因为你只降低了 RPM。单次输入变长、流式连接没有结束,或者多个 Worker 同时调用时,TPM 和并发仍可能超限。把另外两个变量固定住,再分别测试。
Q:Retry-After 没有返回,应该等待几秒?
没有适用于所有平台的固定秒数。可以从 0.5 秒 基础退避开始,采用指数增长和 full jitter,上限暂设为 30 秒,再根据成功率调整。这只是工程起点,不是 GLM-5.3 官方建议。
Q:429 请求会不会扣费或消耗配额?
当前资料无法确认。不同服务商可能采用不同规则,要对照实际账单、用量日志和服务商文档。别默认失败请求一定免费,也别默认一定计费。
Q:并发应该设置成多少?
先从 2 开始做控制变量测试,再使用:
floor(RPM 上限 × 平均响应秒数 ÷ 60 × 0.8)
计算初值。流式输出、长推理和高延迟任务要留出更大余量。
我的最终选择
我现在处理 GLM-5.3 的 429,会先保存完整响应,然后跑三轮隔离测试:用短输入测 RPM,固定频率测输入 Token,固定总量测并发。确认限制类型后,再加上并发控制、有限队列、Retry-After 和随机抖动。
429 只是结果,得继续往下找原因。
请求频率降一半还报错,多半不是玄学,只是限错了变量。别继续拧那个已经没用的旋钮。
504



被折叠的 条评论
为什么被折叠?



