PowerProxy-AOAI 流式响应中"usage"令牌处理异常解析

PowerProxy-AOAI 流式响应中"usage"令牌处理异常解析

powerproxy-aoai Monitors and processes traffic to and from Azure OpenAI endpoints. 项目地址: https://gitcode.com/gh_mirrors/po/powerproxy-aoai

问题背景

在PowerProxy-AOAI项目中，当处理OpenAI API的流式响应时，如果响应数据中包含单独的"usage"令牌，系统会出现处理异常。这个问题的根源在于路由逻辑中对响应数据的解析方式存在缺陷。

技术细节分析

在流式传输场景下，PowerProxy-AOAI的插件基础类(base.py)会通过on_data_event_from_target_received方法处理来自目标的数据事件。原始代码中，对于包含"usage"字段的检查采用了直接字符串匹配的方式：

if "data_from_target" in routing_slip and "usage" in routing_slip["data_from_target"]

这种实现方式存在两个潜在问题：

1. 类型安全缺陷：routing_slip["data_from_target"]可能是一个JSON格式的字符串，直接进行字符串匹配会导致误判
2. 逻辑错误：当响应内容恰好包含"usage"这个词时，会被错误地识别为使用量统计字段

问题复现

当用户请求中包含要求AI返回"usage"这个词的指令时，例如：

{
    "messages": [
        {"role": "system", "content": "You are an AI assistant."},
        {"role": "user", "content": "Please say the word usage"}
    ],
    "stream": true
}

AI模型会流式返回包含"usage"这个词的响应片段，这时原始代码会错误地将这个内容片段识别为使用量统计对象，导致后续处理抛出KeyError异常。

解决方案

修复方案是将字符串匹配改为先解析JSON再进行字段检查：

if "data_from_target" in routing_slip and "usage" in json.loads(routing_slip["data_from_target"])

这种改进确保了：

1. 只有当"usage"确实作为JSON对象的键出现时才会被识别
2. 避免了内容中偶然出现"usage"字符串导致的误判
3. 保持了原有的使用量统计对象检测逻辑不变

技术启示

这个案例给我们几个重要的技术启示：

1. 类型安全：在处理可能包含结构化数据的字符串时，应该先进行正确的反序列化
2. 边界条件：需要充分考虑用户输入可能触发的各种边界情况
3. 防御性编程：对于API响应处理，应该采用更健壮的解析方式

总结

PowerProxy-AOAI项目通过这次修复，增强了流式响应处理的健壮性，特别是对于包含特定关键词的响应内容能够正确识别和处理。这种改进对于构建可靠的AI代理中间件至关重要，确保了在各种边缘情况下都能稳定运行。

powerproxy-aoai Monitors and processes traffic to and from Azure OpenAI endpoints. 项目地址: https://gitcode.com/gh_mirrors/po/powerproxy-aoai