LLM统一接口

simple-one-api简单易用

simple-one-api介绍

• OpenAI 接口接入适配，支持千帆大模型平台、讯飞星火大模型、腾讯混元以及MiniMax、Deep-Seek，等兼容OpenAI接口，仅单可执行文件，配置超级简单，一键部署，开箱即用
• 项目仓库:GitHub - fruitbars/simple-one-api: OpenAI 接口接入适配，支持千帆大模型平台、讯飞星火大模型、腾讯混元以及MiniMax、Deep-Seek，等兼容OpenAI接口，仅单可执行文件，配置超级简单，一键部署，开箱即用. Seamlessly integrate with OpenAI and compatible APIs using a single executable for quick setup and deployment.

功能特色

• 支持配置多个模型，可以随机负载均衡
• 支持一个模型可配置多个api_key，并且可以随机负载均衡
• 支持设置一个对外总api_key
• 支持random模型，后台自动寻找配置的可用的模型
• 支持模型名称重定向设置模型设置别名
• 支持全局设置模型名称重定向，并且支持all模式全部重定向
• 支持每一种模型服务设置服务的地址
• 兼容支持OpenAI的接口，同时支持/v1和/v1/chat/completions两种路径
• 对于不支持system的模型，simple-one-api会放到第一个prompt中直接兼容（更加统一，例如沉浸式翻译中如果system，不支持system的模型也能正常调用）
• 支持全局代理模式
• 支持每个service设置qps或qpm或者concurrency
• 支持/v1/models和/v1/models/:model接口

相关文章

• 比One-Api还简单的大模型路由 - simple-one-api
• simple-one-api:统一 API格式访问国产LLM

litellm

litellm简介

• Python SDK
• 代理服务器（LLM网关）
• 以OpenAI格式调用100多个LLM API :Bedrock，Azure，OpenAI，VertexAI，Cohere，Anthropic，Sagemaker，HuggingFace，Replicate，Groq
• 项目文档:GitHub - BerriAI/litellm: Python SDK, Proxy Server (LLM Gateway) to call 100+ LLM APIs in OpenAI format - [Bedrock, Azure, OpenAI, VertexAI, Cohere, Anthropic, Sagemaker, HuggingFace, Replicate, Groq]
• 项目仓库:GitHub - BerriAI/litellm: Python SDK, Proxy Server (LLM Gateway) to call 100+ LLM APIs in OpenAI format - [Bedrock, Azure, OpenAI, VertexAI, Cohere, Anthropic, Sagemaker, HuggingFace, Replicate, Groq]

功能特点

• 使用OpenAI输入/输出格式调用100多个LLMs
• 统一输入输出格式
• 允许跨多个部署（例如Azure/OpenAI）服务
• 跟踪每个项目的开支

相关文章

• LiteLLM：统一接口调用上百种的LLMs
• LiteLLM：简化与大型语言模型交互的神器

原文链接:https://i68.ltd/notes/posts/241203-llms-uni/