如何快速部署大模型接口管理和分发系统:One-API

目前业界内有很多的大模型服务,比如OpenAI’s ChatGPT、Google’s PaLM2/Gemini、百度的文心一言等多个平台的大模型,如果要接入大模型的话,需要针对每个特定的AI平台独立编写和维护代码。当需要集成多个大模型时,工作成本就高了,这个时候如果能通过统一的接口访问不同的大模型服务,可以极大地简化工作流程和提高效率,One API 就是这样一个工具。

什么是One API?

One API 是一个开源的OpenAI接口管理与分发系统,支持 Azure、Anthropic Claude、Google PaLM 2 & Gemini、智谱 ChatGLM、百度文心一言、讯飞星火认知、阿里通义千问、360 智脑以及腾讯混元,可用于二次分发管理 key,仅单可执行文件,已打包好 Docker 镜像,一键部署,开箱即用。

One API 的使用场景是什么?

  • 多模型集成项目:当你的项目需要集成多个大模型,而这些模型分布在不同的AI平台时,One API可以作为统一的接口,简化你的集成工作。

  • 开发代理服务:如果你需要构建一个自己的AI服务,而后端需要调用不同的AI模型,One API可以作为后端服务,你只需要与One API交互,而不需要处理与各个AI平台的具体交互细节。

  • 教育和研究:在AI的学习和研究中,经常需要对比不同模型的表现。One API可以简化这一流程,使研究者可以轻松切换不同的模型进行对比分析。

  • 小型企业或个人项目:对于资源有限的小型企业或个人开发者,可能没有足够的时间和精力去适配和管理多个AI平台的API。One API提供了一个简单便捷的解决方案。

  • 在敏捷开发中快速原型制作:当你需要快速验证一个涉及AI模型的想法时,One API可以帮助你省去了配置和接入多个AI服务的时间,让你更专注于原型的开发。

    One API在处理需要访问多个AI模型的项目时尤为有用,它通过提供统一的接口来简化开发流程,节省时间和资源。不论是在开发复杂的综合AI服务、进行AI模型对比研究,还是简单地快速验证AI相关的项目想法,One API都能提供强大的支持。

如何使用One API?

One API 可以用来管理模型池,其可以兼容 OpenAI 、Azure 、国内主流模型和本地模型等。

  1. 使用root 账号登录,默认密码:123456
  2. 在渠道页面中添加新的渠道
    file
  3. 然后在令牌页面中新增访问令牌
    file
  4. 客户端使用令牌访问 One API。
  5. 根据请求中的 model 参数,匹配对应的渠道(根据渠道里的模型进行匹配,必须完全一致)。如果匹配到多个渠道,则随机选择一个(同优先级)
  6. One API 向真正的地址发出请求,并将结果返回给客户端

如何在阿里云上快速部署One API

阿里云计算巢提供了快速部署的One API的解决方案,只需要简单填写配置就可以一键部署到自己的VPC 内,非常简单快捷,操作步骤如下:

  1. 单击部署链接,进入计算巢的服务实例部署界面。
  2. 根据界面提示,填写参数完成部署。
    file
    选择实例规格,并设置实例密码
    file
    设置可用区和VPC信息
    file
  3. 设置完参数后,点击下一步确认订单,点击立即创建,等待服务实例创建完成。
  4. 服务实例创建成功后,进入服务实例详情页。在概览页可获取one-api登录信息。
    使用初始账号登录,用户名为 root,密码为 123456。
    file
    参考文档:
    https://docs.geekai.me/config/chat/one-api.html#geekai-%E9%85%8D%E7%BD%AE
    https://aibard123.com/newtutorial/2024/02/one-api/

查看更多计算巢服务 (https://computenest.aliyun.com)

本文由博客一文多发平台 OpenWrite 发布!

### 如何使用 One-API 示例教程文档 #### 项目概述 One-API 是一个用于管理分发各种大型语言模型 (LLM) 的接口管理系统。它支持多个主流的大规模人工智能服务提供商,例如 Azure、Anthropic Claude、Google PaLM Gemini、智谱 ChatGLM、百度文心一言、讯飞星火认知、阿里通义千问、360 智脑以及腾讯混元[^4]。 #### 安装与配置 为了快速上手并运行 One-API,可以按照以下说明操作: 1. **获取源码或镜像** - 如果希望从源代码安装,可以从官方仓库克隆该项目到本地环境: ```bash git clone https://gitcode.com/gh_mirrors/on/one-api.git cd one-api ``` - 或者直接拉取 Docker 镜像来简化部署过程: ```bash docker pull ghcr.io/yunwei37/one-api:latest ``` 2. **编辑配置文件** 修改 `docker-compose.yml` 文件中的必要参数以适配您的需求。具体来说,您需要调整两个主要字段: - `OPENAI_BASE_URL`: 这是 API 接口的基础 URL 地址,并需附加 `/v1` 路径部分。 - `CHAT_API_KEY`: 此处填写有效的 API 密钥凭证以便访问目标服务商的服务[^2]。 3. **启动容器** 当完成上述设置之后,可以通过如下命令轻松启动该应用实例: ```bash docker compose up -d ``` #### 功能特性 作为一款强大的工具软件包,One-API 提供了许多实用的功能模块,其中包括但不限于以下几个方面: - 支持多类型 LLM 平台接入; - 实现单一入口统一管理不同供应商所提供的 AI Keys; - 内置英文界面方便国际用户群体理解操作流程; 通过这些精心设计的特点组合起来使得整个系统的灵活性大大增加同时也降低了维护成本。 ```python import requests def query_one_api(prompt, api_key): url = 'http://localhost:8080/v1/completions' headers = {'Authorization': f'Bearer {api_key}'} data = {"prompt": prompt} response = requests.post(url, json=data, headers=headers) if response.status_code == 200: result = response.json() return result['choices'][0]['text'] else: raise Exception(f"Error occurred with status code {response.status_code}") ``` 以上是一个简单的 Python 函数例子展示如何调用已经搭建好的 local instance of One-API 来生成文本回复给定输入提示串。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值