Du5Ty的博客

特别是在与 LLM（大语言模型）交互的时候，经常会遇到临时性的网络波动、超时、服务器繁忙等问题，这时候自动重试可以显著提升稳定性。把各种乱七八糟的消息格式（字典、对象、带图片的、不带图片的），统一整理成 OpenAI 接口能听懂的标准格式。调用一个可能会失败的方法（比如访问远程 API）时，这个装饰器会在出错后自动尝试重新执行，而不是立刻报错退出。如果没有单例机制，这两个 llm_a 和 llm_b 是两个不同的对象，会分别创建两次连接，浪费资源。非流式请求下，直接调用 OpenAI API，并返回结果。

它的作用是：精确估算一条消息在调用大模型（如 GPT-4o、Claude）时会消耗多少 tokens。