开源大模型网关:One API实现主流AI模型API的统一管理与分发

本地部署 Qwen-Agent 阅读详情
AI摘要

One API是用Go语言开发的大语言模型API管理与分发系统,支持Docker一键部署,资源占用小、性能高,可快速接入多平台大模型。本文介绍了其安装方式、使用示例,还分享了大模型AI的学习阶段与资料获取途径。

null

一、简介

  • One API是一个使用go语言开发的大语言模型 API 管理与分发系统

  • 支持Docker一键快速部署,且资源占用小,高性能

  • 开箱支持多平台大模型快速接入,包括OpenAI、Gemini、xAI、Grop、Anthropic Claude、Ollama、Deepseek、智谱AI、豆包、文心一言等等

  • 功能强大,支持多机部署、stream 模式、模型负载均衡、令牌用户等资源管理等等

  • 开源地址参考:https://github.com/songquanpeng/one-api,工作原理图参考:

null

二、安装

1. 安装方式一:在主机上使用Docker安装

  • 新建docker-compose.yml配置文件,内容如下
version: '3'

services:
  one-api:
    image: justsong/one-api:latest
    privileged: true
    container_name: one-api
    restart: always
    command: --log-dir /app/logs
    ports:
      - "3000:3000"
    volumes:
      - ./data:/data
      - ./logs:/app/logs
    environment:
      - SESSION_SECRET=HSFGJFSFMNWVSDV  # 修改为随机字符串
      - TZ=Asia/Shanghai
  • 使用docker-compose命令启动,输入如下命令:
docker-compose up -d

2. 安装方式二:使用免费的Claw Cloud容器部署

  • 如何免费使用Claw Cloud参考:https://blog.luler.top/d/29

  • 新增一个应用,选择配置如下:

null

  • 启动运行,部署成功后即可访问分配的公网地址使用了

null

三、使用示例

1. 在One API后台管理模型渠道

  • 这里以Claw Cloud部署分配的地址为例,访问:https://bmyufvujccew.ap-northeast-1.clawcloudrun.com/,默认登录账号密码为:root/123456

null

  • 添加一个模型渠道,这里以硅基流动为例

null

  • 可对接入的模型渠道进行管理、测试可用性

null

2. 管理授权令牌

  • 新增One API模型授权使用令牌

null

3. 在客户端使用One API接入的模型

  • 统一所有模型,提供 Openai 兼容接口

  • 在Cherry Studio接入One API示例,添加新的模型服务,配置如下

null

  • 配置成功,就可以正常使用了

null

4. One API还有很多用法(自行探索)

  • 多模型供应商负载均衡
  • 模型更名、映射转换
  • 指定使用哪个模型渠道(在令牌后面增加"-渠道ID"即可)
  • 模型调用失败重试
  • 等等等

四、总结

  • 使用One API可以帮助统一的编程和管理接口,把所有可用渠道集中到One API管理,统一对外提供Openai兼容接口和授权令牌
  • 能够Docker快速部署,go语言开发性能有保证,且资源占用少,可以迅速接入使用

如何学习大模型 AI ?

由于新岗位的生产效率,要优于被取代岗位的生产效率,所以实际上整个社会的生产效率是提升的。

但是具体到个人,只能说是:

“最先掌握AI的人,将会比较晚掌握AI的人有竞争优势”。

这句话,放在计算机、互联网、移动互联网的开局时期,都是一样的道理。

我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑,所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限,很多互联网行业朋友无法获得正确的资料得到学习提升,故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述

第一阶段(10天):初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识,对大模型 AI 的理解超过 95% 的人,可以在相关讨论时发表高级、不跟风、又接地气的见解,别人只会和 AI 聊天,而你能调教 AI,并能用代码将大模型和业务衔接。

  • 大模型 AI 能干什么?
  • 大模型是怎样获得「智能」的?
  • 用好 AI 的核心心法
  • 大模型应用业务架构
  • 大模型应用技术架构
  • 代码示例:向 GPT-3.5 灌入新知识
  • 提示工程的意义和核心思想
  • Prompt 典型构成
  • 指令调优方法论
  • 思维链和思维树
  • Prompt 攻击和防范
  • …

第二阶段(30天):高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习,学会构造私有知识库,扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架,抓住最新的技术进展,适合 Python 和 JavaScript 程序员。

  • 为什么要做 RAG
  • 搭建一个简单的 ChatPDF
  • 检索的基础概念
  • 什么是向量表示(Embeddings)
  • 向量数据库与向量检索
  • 基于向量检索的 RAG
  • 搭建 RAG 系统的扩展知识
  • 混合检索与 RAG-Fusion 简介
  • 向量模型本地部署
  • …

第三阶段(30天):模型训练

恭喜你,如果学到这里,你基本可以找到一份大模型 AI相关的工作,自己也能训练 GPT 了!通过微调,训练自己的垂直大模型,能独立训练开源多模态大模型,掌握更多技术方案。

到此为止,大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗?

  • 为什么要做 RAG
  • 什么是模型
  • 什么是模型训练
  • 求解器 & 损失函数简介
  • 小实验2:手写一个简单的神经网络并训练它
  • 什么是训练/预训练/微调/轻量化微调
  • Transformer结构简介
  • 轻量化微调
  • 实验数据集的构建
  • …

第四阶段(20天):商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知,可以在云端和本地等多种环境下部署大模型,找到适合自己的项目/创业方向,做一名被 AI 武装的产品经理。

  • 硬件选型
  • 带你了解全球大模型
  • 使用国产大模型服务
  • 搭建 OpenAI 代理
  • 热身:基于阿里云 PAI 部署 Stable Diffusion
  • 在本地计算机运行大模型
  • 大模型的私有化部署
  • 基于 vLLM 部署大模型
  • 案例:如何优雅地在阿里云私有部署开源大模型
  • 部署一套开源 LLM 项目
  • 内容安全
  • 互联网信息服务算法备案
  • …

学习是一个过程,只要学习就会有挑战。天道酬勤,你越努力,就会成为越优秀的自己。

如果你能在15天内完成所有的任务,那你堪称天才。然而,如果你能完成 60-70% 的内容,你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传优快云,朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】

在这里插入图片描述

Qwen-Agent智能体框架:阿里又一开源王炸!附详细教程 阅读详情

相关推荐

40-dify案例分享-dify独家揭秘:mcp_sse+Zapier_MCP如何打造轻量级MCPserver达成万物互联

本文介绍 MCP Server,它基于 MCP 协议,能实现 LLM 与外部资源高效安全连接。重点分享在 Dify 实现 mcp-server 的方案,包括升级 Dify、安装 MCP SSE 插件、配置 Zapier MCP 等步骤,还进行了验证测试,实现新闻搜索和邮件发送联动。

个人技术 6866

RagFlow本地部署使用

开源RAGFlow引擎:打造无幻觉、高精度的文档理解与生成体验RAGflow,这个新兴的开源RAG(Retrieval-Augmented Generation)引擎,正以其独特的深度文档理解能力,为大型语言模型的应用带来了革命性的变革。在处理PDF文件时,我们经常面临提取干净数据的挑战,而RAGFlow的出现,恰恰解决了这一问题,它能够提供准确无误且无幻觉的生成结果。

qq_43548590的博客 4万+

One-Api vs LiteLLM:国内开发者如何选择大模型统一接口工具?

本文对比了LiteLLM和One-Api两款大模型统一接口工具。LiteLLM作为Python SDK起家,灵活轻量,适合开发者快速集成与实验;One-Api则提供完整的管理后台,深度集成国内模型,更适合团队协作与生产环境下的密钥管理、成本监控等需求。文章为国内开发者根据具体场景选择合适工具提供了决策指南。

h6j7k8l9p0的博客 1846

PyCharm接入DeepSeek实现AI编程

DeepSeek 是一家专注于人工智能技术研发的公司,致力于开发高性能、低成本的 AI 模型。DeepSeek-V3 是 DeepSeek 公司推出的最新一代 AI 模型。其前身是 DeepSeek-V2.5,经过持续的优化和升级,V3 版本在性能、速度和成本方面都取得了显著提升。DeepSeek-V3 的发布表明,国产 AI 模型在技术层面已经具备与国际顶尖模型(例如 GPT-4o)竞争的实力。接下来,我们把DeepSeek接入到PyCharm中,并利用其能力辅助我们进行代码开发。

qq_63708623的博客 4万+

One API实战:如何用Docker快速搭建大模型接口统一网关

本文详细介绍了如何使用Docker快速搭建One API,实现大模型接口的统一网关管理。通过Docker部署和配置实战,开发者可以轻松整合OpenAI、Azure、文心一言等不同厂商的API,提升接口管理效率。文章还涵盖了安全加固、负载均衡、多租户架构等企业级应用场景,助力开发者高效管理大模型接口。

weixin_29323273的博客 709

多大模型 API 统一调用解决方案:6 个 GitHub 开源项目深度推荐

AI SaaS 产品企业 AI 中台多模型聚合 API私有化 ChatGPT那么这三套组合,基本可以覆盖90% 真实业务需求。

hello! 1962

AI模型管理神器:One-API支持国内外主流大模型一键调用

本文介绍了如何在星图GPU平台上自动化部署One-API镜像,该镜像通过标准的 OpenAI API 格式访问所有的大模型,开箱即用,支持统一调用通义千问、DeepSeek、GPT等国内外主流模型,典型应用于智能客服、多模型内容生成与AI中台建设,显著降低API集成与运维成本。

weixin_35756637的博客 1569

安卓-折叠屏平行视界适配(多厂商兼容与优先级实战)

本文详细解析了安卓折叠屏平行视界适配的现状与挑战,重点探讨了多厂商兼容性策略和优先级冲突的实战解决方案。通过对比Google的Embedding方案和国内厂商的EasyGo标准,提供了检测设备支持方案、处理优先级冲突及双方案共存的最佳实践,帮助开发者高效完成折叠屏适配。

weixin_29190169的博客 165

5分钟构建你的AI大模型统一管理平台:One-API完整解决方案

你是否在为管理多个AI大模型API密钥而烦恼?不同厂商的API格式各异,计费方式复杂,用户管理繁琐?One-API正是解决这些痛点的终极方案!这个开源项目让你通过统一的OpenAI API格式访问所有主流大模型,实现一站式AI接口管理与分发。无论你是个人开发者还是企业用户,都能在5分钟内搭建起专业的AI服务平台,轻松管理用户、分配额度、监控使用情况。 ## 问题导向:为什么需要统一的AI接口管理

gitblog_00574的博客 701

锐捷交换机路由器配置全攻略:从基础命令到高级功能(附常用命令速查表)

本文提供锐捷交换机路由器配置全攻略,涵盖从基础命令到高级功能的详细指南,包括VLAN划分、DHCP配置、链路聚合等实用技巧,并附常用命令速查表,帮助网络管理员快速掌握锐捷设备运维。

weixin_29285605的博客 519

如何检查你的系统是否支持 TPM 2.0

TPM 2.0 是 Windows 11 的硬性要求,作为安全加密芯片,用于存储密钥、认证信息,提升系统安全性。它可防止数据窃取,支持 BitLocker 等功能。多数现代主板已集成 TPM,但需在 BIOS 中启用。可通过 tpm.msc、PowerShell 或微软 PC 健康检查工具验证支持情况。部分设备采用固件实现的 fTPM/PTT,无需独立芯片。

山岚的运维笔记 118

开源大模型网关 One API 实战:用 Go 语言统一管理主流 AI 模型 API 并分发

用 Docker Compose 部署开源 Go 网关 One API,把 OpenAI、Claude、DeepSeek 等 AI 模型 API 统一收敛到一个入口,再通过令牌分发给团队。文中给出渠道配置、模型映射与 curl 验证路由的完整步骤,上游可接 TaoToken,官网 https://taotoken.net/?utm_source=taotoken_aicg_blog_end 获取 Key 即可开跑。

weixin_35755434的博客 12

系统架构最佳实践 -- 统一身份认证系统

设计和实现一个高效、安全的统一身份认证系统需要考虑到系统架构设计、用户认证与授权、用户身份管理、安全性保障、日志记录与审计、高可用性与容错性,以及用户体验优化等多个方面。通过合理的架构设计、安全措施和用户体验优化,可以构建一个满足用户需求、提供安全可靠的身份认证服务的系统。本文将总结统一身份认证系统的架构设计与实践经验,帮助读者了解如何设计和实现一个高效、安全的统一身份认证系统。统一身份认证系统应支持详细的日志记录和审计功能。通过合理的身份认证策略和授权机制,可以确保用户身份的准确性和信息的安全性。

xiaoli8748的专栏 1709

深度解析One-API:构建企业级AI网关的完整技术方案

在当今AI技术快速发展的时代,企业面临着一个核心挑战:如何高效、安全地管理和分发来自多个AI服务提供商的API访问权限。One-API作为一款开源的多模型API统一管理系统,提供了一个优雅的技术解决方案。本文将从架构设计、安全机制、性能优化三个维度,深入剖析One-API的技术实现原理和最佳实践。 ## 核心架构设计原理 One-API的核心架构采用了适配器模式(Adapter Pattern

gitblog_00110的博客 1033

Spring AI 项目实战(十八):Spring Boot + AI + Vue3 + OSS + DashScope 实现高效语音识别系统(附完整源码)

本文介绍基于 Spring Boot AI 集成阿里云 OSS 与 DashScope 语音识别 API 的高效语音识别系统。该系统通过云端存储音频文件,解决传统本地存储的性能瓶颈与存储压力,支持同步 / 异步语音转文本,实现文件自动生命周期管理。文中详述技术选型、架构设计、核心代码实现(含前后端及配置)、部署流程,展现其高并发处理、可靠文件管理能力,适用于客服、教育等企业级场景,为语音识别应用提供实用解决方案。

博客 1537

Unity大世界流式加载:工业级架构与优化秘籍

游戏大厂Unity大世界流式加载框架全景解析:从《原神》《和平精英》等标杆案例出发,深入剖析工业级流式加载的完整技术架构。文章系统介绍了大世界分区块管理、异步加载机制、资源优化策略、多平台适配方案,以及业务联动与团队协作流程。重点阐述了Addressable与AssetBundle应用、空间触发器设计、性能自适应等核心技术,并展望AI预测加载、云游戏等未来方向。全面展现了大厂如何通过流式加载技术实现无缝开放世界体验的技术路径与实践经验。

本博客聚焦游戏开发技巧、创业实战心得及大学热门课程干货。这里既有技术深度,也有思维广度,无论你是开发者、创业者还是高校学子,都能在这里找到适合自己的成长之路! 613

开源大模型网关:用One API统一管理主流AI模型API并分发到TaoToken

用 Docker Compose 部署 One API 大模型网关,把 TaoToken 配置为 OpenAI 类型上游渠道,即可统一管理多家模型 API。文中给出可复制的 compose 配置与渠道填写步骤,并用 curl 验证统一入口与流式输出是否连通。TaoToken 官网:https://taotoken.net/?utm_source=taotoken_aicg_blog_end

weixin_42591413的博客 15

A2B V1.0协议学习笔记(A2B System Specification V1.0)

A2B全称是 Automotive Audio Bus 汽车音频总线,主要是解决传统音频总线线多、线重、成本贵等问题。本文是以A2B V1.0规范为准,现在ADI又推出了A2B V2.0,物理层不兼容,采用了QPSK编码方式,后续有时间再更新。A2B总线的优点:支持1主多从的架构(最多10个子节点)支持50Mbps(具体是49.152 Mbps)的高带宽传输以及

qflook的博客 4428

One-API深度解析:如何用Go语言打造企业级AI网关

**AI网关管理** 已成为现代AI应用架构中的关键组件。在众多AI模型API如雨后春笋般涌现的今天,开发者面临着一个核心痛点:如何统一管理不同厂商的API接口、密钥和计费策略?One-API应运而生,这是一个基于Go语言开发的开源项目,专门解决AI API的统一管理和分发问题。 ## 🚀 从零到一:One-API的技术架构揭秘 One-API的核心设计理念是"统一适配,灵活分发"。它通过标

gitblog_00763的博客 719

如何通过 GitHub Actions 使用 SSH 自动化部署到阿里云 ECS 实例

通过 GitHub Actions 和 SSH 自动化部署,可以显著提高你的开发效率和部署的可靠性。本文介绍了如何生成 SSH 密钥、将公钥添加到阿里云 ECS 实例、将私钥添加到 GitHub Secrets,以及编写 GitHub Actions 工作流来实现自动化部署。希望这篇文章对你有所帮助!

吃面不喝汤的博客 1513

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

如何通过统一API网关实现多模型管理:构建企业级AI接口分发系统

在当今AI技术快速发展的时代,企业面临着一个核心挑战:如何在统一平台上管理多个AI模型,同时确保成本控制、安全访问和高效分发?One-API正是为解决这一痛点而生的开源解决方案,它通过单一API接口统一管理OpenAI、Azure、Google Gemini、Anthropic Claude等主流AI模型,帮助企业快速构建完整的AI接口分发体系。 ## 企业AI集成的现实困境 随着AI技术在企

gitblog_00318的博客 932

android 蓝牙通讯demo

android 下蓝牙通讯demo,实现了发现蓝牙,使能蓝牙,通过蓝牙发送消息。

One API终极指南:如何实现多模型统一管理的10个核心技术揭秘

在当今AI应用爆发的时代,企业开发者面临着一个核心挑战:如何高效管理来自不同厂商的多种大语言模型API?One API作为一款开源的LLM API管理与分发系统,通过统一API适配技术,完美解决了这一难题。本文将深度解析One API如何实现多模型统一管理的核心技术架构,让你全面了解这一强大工具的内部运作机制。 ## 🔍 One API是什么?为什么你需要它? One API是一个单可执行文

gitblog_00854的博客 1028

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

One API:LLM API 管理 & 分发系统,github 24.2K Star!

One API 是一个开源的 AI 大模型 API 管理与分发系统,致力于解决多模型接入过程中面临的繁杂协议、密钥管理、流量分配等问题。它通过标准化接口(基于 OpenAI 格式)实现了不同大模型的无缝衔接。无论是 OpenAI、Google Gemini,还是国内的文心一言、讯飞星火等平台,开发者只需简单配置即可实现切换,旧代码无需大幅重构。

civiljiao的博客 3331

一站式 LLM API 管理与额度分发:用 One-API 管好 50 个开发者的 AI 配额

想象一下这个场景:团队里 50 个开发者都要调 Claude、GPT、DeepSeek,每人各申请各家的 key,有人撞了限流,有人账单失控,离职了 key 还挂在系统里没人管。把 One-API 架在中间就解决了——它是一套 LLM API 管理与分发系统,把 OpenAI、Azure、Anthropic Claude、Google Gemini、DeepSeek、豆包、ChatGLM、通义千问

gitblog_00381的博客 819

一键部署大模型API网关:OpenAI/Claude/Gemini等20+模型统一管理

本文介绍了如何在星图GPU平台上自动化部署“通过标准的 OpenAI API 格式访问所有的大模型,开箱即用”镜像,快速搭建大模型API统一网关。该方案能将OpenAI、Claude、Gemini等20多种主流模型的API转换为统一格式,极大简化了多模型AI应用(如智能对话、内容生成等)的开发与集成流程。

weixin_42575505的博客 466
上一篇: 从表面到深入:利用知识图谱和大模型整合外部知识以生成跟进问题 - 东南大学&中国移动研究院
下一篇: SFT+RL双阶训练突破LLM自我监督!人大DeepCritic实现AI批判自主进化
Python_金钱豹
博客等级 码龄5年 1万+粉丝 2841原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值