powerproxy-aoai：监控与优化Azure OpenAI服务流量-优快云博客

本文链接：https://blog.youkuaiyun.com/gitblog_00074/article/details/148079667

powerproxy-aoai：监控与优化Azure OpenAI服务流量

powerproxy-aoai Monitors and processes traffic to and from Azure OpenAI endpoints. 项目地址: https://gitcode.com/gh_mirrors/po/powerproxy-aoai

项目介绍

powerproxy-aoai 是一个开源项目，由微软的AI GBB团队和一些合作伙伴共同开发。该项目旨在监控和优化与Azure OpenAI服务端点及部署的流量。作为服务的中介，powerproxy-aoai 能够提供智能负载均衡、按团队或项目计费、自定义速率限制、监控和内容过滤等功能，还可以根据团队或项目限制对部署/模型的访问权限，同时验证和优化设置，如max_tokens。

powerproxy-aoai 的设计使其与各种框架（如LangChain、Semantic Kernel等）无缝协作，并支持流式响应，这在实时/用户交互场景中尤为重要。

项目技术分析

powerproxy-aoai 是基于Python的开源解决方案优化器，利用异步处理和最小的Azure服务集合，实现了极快的处理速度，低延迟和低成本。其架构支持分布式部署，可以通过运行多个worker和容器来水平扩展。

项目的主要技术特点包括：

智能负载均衡，不仅可以跨端点，还可以跨部署进行负载均衡。
支持任何运行Python和/或Docker的托管服务，如Azure Container Apps或Kubernetes。
提供了用于Azure Container Apps的部署脚本，也可以部署到现有的Kubernetes集群中。
通过插件架构和开源特性，具有高度的可定制性。

项目技术应用场景

powerproxy-aoai 的应用场景广泛，包括但不限于：

对于使用共享部署的团队或项目，根据其消耗进行计费。
在实时交互场景中，对模型进行流式响应的支持。
为不同的团队或项目提供定制化的速率限制和内容过滤。
在不同部署之间进行智能负载均衡，提高资源利用率。

项目特点

以下是powerproxy-aoai 的主要特点：

智能负载均衡：powerproxy-aoai 能够在端点和部署之间进行智能负载均衡，适用于大型语言模型（LLM）的场景，比传统的轮询算法更适合。
高度可定制：项目采用插件架构，并完全开源，使得用户可以根据自己的需求进行高度定制。
分布式部署：powerproxy-aoai 支持分布式部署，能够通过运行多个worker和容器来实现水平扩展。
性能优越：由于采用了异步处理和最小的Azure服务集合，powerproxy-aoai 在性能上具有显著优势，例如，在P90条件下每秒可以处理超过6300个请求，且延迟小于11毫秒。
易于部署：项目提供了用于Azure Container Apps的部署脚本，同时也支持部署到现有的Kubernetes集群。
透明性和兼容性：powerproxy-aoai 透明地工作，与LangChain、Semantic Kernel等框架兼容，并支持流式响应。