23k star,开源的企业级AI网关神器,一键管理20+大模型!

AI项目管理工具:让大模型工作流可追溯、可审计、可协同 AI项目管理工具正从传统任务协作软件演进为支撑大模型工程化的新型基础设施。其核心在于解决LLM应用开发中的三大本质挑战:提示词(Prompt)版本混乱导致的不可复现性、多Agent执行状态黑箱带来的协作断层、以及自动化流水线与人工评审之间的割裂。这类工具通过Prompt全生命周期追踪、动态状态图谱、Human-in-the-Loop评审门禁和模型行为审计等能力,将原本混沌的AI工作流转化为可测量、可干预、可归因的工程对象。尤其在医疗、金融等强合规场景中,它们已成为保障AI输出可信性与法律尽职调查落地的关键技 阅读详情

👉 这是一个或许对你有用的社群

🐱 一对一交流/面试小册/简历优化/求职解惑,欢迎加入「芋道快速开发平台」知识星球。下面是星球提供的部分资料: 

👉这是一个或许对你有用的开源项目

国产Star破10w的开源项目,前端包括管理后台、微信小程序,后端支持单体、微服务架构

RBAC权限、数据权限、SaaS多租户、商城、支付、工作流、大屏报表、ERP、CRM、AI大模型、IoT物联网等功能:

  • 多模块:https://gitee.com/zhijiantianya/ruoyi-vue-pro

  • 微服务:https://gitee.com/zhijiantianya/yudao-cloud

  • 视频教程:https://doc.iocoder.cn

【国内首批】支持 JDK17/21+SpringBoot3、JDK8/11+Spring Boot2双版本 

来源:极客之家


在AI大模型百花齐放的今天,开发者常面临一个难题:不同厂商的API协议差异导致开发效率低下。

例如调用ChatGPT需要遵循OpenAI的规范,而接入讯飞星火则需完全不同的参数结构。今天给大家推荐一款开源项目 One API,这个项目正是为解决这一痛点而生。它如同AI领域的"网关",将分散的大模型API统一转化为标准OpenAI格式,让开发者以一套代码兼容数十种主流大模型。

核心功能

1. 多模型统一接入

One API目前已支持超过30种大模型服务,涵盖国内外主流AI厂商:

  • 国际模型 :OpenAI全系列(含Azure)、Google PaLM2/Gemini、Anthropic Claude、Meta Llama等

  • 国产模型 :讯飞星火、智谱ChatGLM、百度文心一言、阿里通义千问、360智脑等

  • 开源模型 :通过集成Ollama可接入本地部署的ChatGLM3、Qwen、DeepSeek等模型

2. 企业级管理功能
  • 密钥分发 :支持二次分发管理API密钥,可设置额度、有效期和IP白名单

  • 负载均衡 :自动在多个同类型渠道间分配请求,提升系统稳定性

  • 数据监控 :实时查看各渠道的调用量、响应时间和错误率

  • 审计日志 :记录所有API请求的详细元数据,满足企业合规需求

3. 开发者友好特性
  • 无缝兼容 :现有基于OpenAI SDK的应用只需修改base_url即可迁移

  • 流式传输 :完整支持Chat Completions的stream模式,实现打字机效果

  • 模型映射 :将私有模型名称映射为通用标识(如将"qwen-max"映射为"gpt-4")

基于 Spring Boot + MyBatis Plus + Vue & Element 实现的后台管理系统 + 用户小程序,支持 RBAC 动态权限、多租户、数据权限、工作流、三方登录、支付、短信、商城等功能

  • 项目地址:https://github.com/YunaiV/ruoyi-vue-pro

  • 视频教程:https://doc.iocoder.cn/video/

实战案例

5分钟接入私有化大模型

案例背景

某企业希望将本地部署的ChatGLM3接入现有AI知识库系统,但原有系统仅支持OpenAI接口。

实现步骤:

部署ChatGLM3服务

> 基于 Spring Cloud Alibaba + Gateway + Nacos + RocketMQ + Vue & Element 实现的后台管理系统 + 用户小程序,支持 RBAC 动态权限、多租户、数据权限、工作流、三方登录、支付、短信、商城等功能
>
> * 项目地址:<https://github.com/YunaiV/yudao-cloud>
> * 视频教程:<https://doc.iocoder.cn/video/>

# 使用chatglm.cpp加速CPU推理
docker run -p 8000:8000 liplusx/chatglm.cpp uvicorn api:app --host 0.0.0.0:cite[6]

配置One API渠道

  • 类型选择OpenAI兼容

  • 代理地址填写http://内网IP:8000

  • 模型名称映射为"gpt-3.5-turbo"

修改应用配置

# 原OpenAI配置
OPENAI_API_BASE = "https://api.openai.com/v1"

# 改为One API地址
OPENAI_API_BASE = "http://one-api:3000/v1"

界面展示

渠道列表

监控页面

操作日志

对话页面

令牌页面

总结

One API的出现,如同在AI应用的"巴别塔"上架起了一座桥梁。开发者不再需要为每个模型单独编写适配代码,企业也无需担心供应商锁定的风险。

在这个大模型技术日新月异的时代,它正在成为AI工程化道路上的基础设施级工具。正如某位用户在使用后感叹:"原来需要两周完成的模型迁移,现在只需修改一个配置项!"

开源地址

https://github.com/songquanpeng/one-api


欢迎加入我的知识星球,全面提升技术能力。

👉 加入方式,“长按”或“扫描”下方二维码噢:

星球的内容包括:项目实战、面试招聘、源码解析、学习路线。

文章有帮助的话,在看,转发吧。
谢谢支持哟 (*^__^*)
2023年Q1 AI工程化实战手记:开源大模型部署与推理优化 大语言模型(LLM)已从研究概念迈入规模化工程落地阶段,其核心挑战正从‘能否生成’转向‘如何稳产’。开源大模型爆发与推理成本断崖式下降,推动企业加速构建自主可控的AI服务栈;而多模态实用化拐点则要求系统具备跨模态特征融合与动态调度能力。技术价值体现在显存利用率提升、首token延迟优化及生产环境P95稳定性保障;典型场景覆盖本地化客服知识库、政务热线AI助手、垂直领域图像检索等。本文聚焦vLLM、llama.cpp、量化策略与Tokenizer一致性等真实踩坑经验,直击CUDA OOM、KV Cache碎片 阅读详情

相关推荐

开源大模型技术地图:架构演进、落地断层与实操契约

大模型已从参数堆叠走向系统级工程——MoE稀疏化、注意力机制重构(MLA/DSA/GDN)和后训练工业化构成三大架构主干,而本地推理成本、Agent执行可靠性、多模态鲁棒性则定义了真实落地的三重断层。开源不再仅指权重开放,更是接口契约、硬件适配与验证闭环的全面公开。Qwen3.5的GDN注意力、GLM-5的昇腾全栈优化、Kimi K2.5的状态机式工具调用等实践案例,揭示了当前主流模型在计算调度、长文本建模与生产级稳定性上的差异化设计哲学。理解这些技术坐标的映射关系,才能在具体场景中完成从Ollama轻量部

weixin_30307921的博客 506

APIPark:5分钟搭建开源AI网关,统一管理100+大模型,小白也能轻松上手

APIPark是Eolink推出的开源云原生AI&API网关,支持统一管理100+主流大模型,提供统一接口规范、高性能网关、流量监控等功能。采用模块化架构,支持Docker和Kubernetes一键部署。适用于企业AI中台、多模型容灾和开放API平台等场景,Apache-2.0许可可免费商用,帮助开发者简化大模型接入流程,降低运维复杂度。

2401_85343303的博客 1507

AI能力交付的最小可行单元:Cohort模式实战解析

在AI工程化落地加速的当下,'Cohort'已超越传统小班概念,演变为以任务闭环、环境一致、反馈即时为特征的能力交付最小单元。其核心在于将模型调用、提示工程、GPU资源调度等技术要素封装为可复现、可验证、可嵌入CI/CD的生产级实践流程。这种模式显著提升学习者从‘能跑通’到‘可交付’的转化效率,尤其适用于已有Copilot使用经验、亟需将AI深度集成进工作流的技术实践者。本文深入拆解AI Cohort的设计逻辑、自动化交付流水线与24小时倒计时背后的真实技术约束,揭示高价值AI技能交付背后的系统性工程思维。

weixin_38166557的博客 327

一文搞懂:AI网关这个新东西是什么意思?有没有开源免费的选择?

AI网关是企业应用与内外部大模型之间的桥梁,它位于企业应用与内外部大模型的调用交汇点。 AI网关的主要功能 是 将应用请求 通过集中管理模块 转发给 1 内部自建模型、2 外部大模型服务提供商,甚至 3 海外模型提供商。 通过这种方式,AI网关在企业内管理了所有的AI出口流量,为开发运维团队提供了更好的维护切面,同时也为不同团队带来了不同的好处: 对于开发团队来说: AI网关可以让开发团队不再关心模型费用和申请问题,按需调用即可,加速应用构建。这意味着开发团队可以更专注于应用的开发,整体更省成本

xingxuechao的专栏 6677

AI Agent Runtime 的操作系统时刻:Session 作为事件日志的范式迁移

AI Agent 运行时(Runtime)正经历类似操作系统的抽象革命——将易失的模型上下文升级为持久化、可审计、可回溯的 Session 事件日志。其核心原理在于解耦执行、记忆与隔离:Session 层提供类文件系统的持久化抽象,Harness 层实现无状态调度,Sandbox 层通过 microVM 保障 credential 隔离与内存安全。这一设计不仅解决 context 溢出、静默失效、凭证泄露等工程顽疾,更支撑金融、销售等高合规场景下的可信自动化。当前主流托管服务(如 Anthropic Man

corg81763的博客 460

AI资讯简报的工程化范式:信息密度、可复现性与落地验证

AI资讯简报已从泛泛而谈的热点聚合,演进为面向工程师的技术决策基础设施。其核心在于以可复现性验证、成本穿透力分析和接口诚实度筛选为支柱,构建高信息密度的信息处理闭环。这种范式超越传统RSS订阅与社交媒体刷屏,直击一线研发者在模型选型、RAG部署、Agent落地等场景中的真实痛点——如LiteRAG的轻量级知识库构建、ViT-S/16替代ViT-B/32的多模态对齐优化、以及全自动Agent在真实数据格式下的失效边界。它不提供幻觉式预测,而是交付经交叉验证的‘决策燃料’,成为技术团队在AI浪潮中降本、提效、避

Coding 475

每日 1000 亿 Token 流量,开源 AI 网关 Portkey 如何打通 250+ 模型?

Portkey AI Gateway 是一个开源的企业级 AI 网关,提供统一接口接入 250+ 语言、视觉和图像模型。核心功能包括:标准化 API 接口、智能路由策略(负载均衡/故障转移/条件路由)、企业级可靠性保障(自动重试/超时控制/缓存)和多模态支持。

zgkd123456789的博客 1454

【信息科学与工程学】【管理科学】第三十篇 公司治理及公司工作内容02 研发与技术创新类算子01

2. 模型训练:使用图神经网络(如MEGNet, CGCNN)或梯度提升树(如XGBoost),在大型数据库(如Materials Project, OQMD)上训练,学习从结构到性能(如形成能、带隙、弹性模量)的映射。3. 以支撑结构为设计变量,使用拓扑优化方法,在满足结构刚度(抑制变形)和可制造性约束下,寻找材料分布的最优解,生成点状、线状或网状等轻量化支撑。(效率价值增量)= 因本次设备提升带来的研发周期缩短,所换算的“时间价值”(如,提前一月上市的市场价值)+ 预计减少的后续生产成本。

weixin_49199313的博客 637

开源AI网关AGW:10人团队免费部署与生产实践

在多个业务系统接入大模型的时代,API调用的分散管理正成为团队架构的主要痛点。AI网关作为一种统一入口,屏蔽了不同模型供应商的协议差异,通过路由、鉴权、限流与成本统计,将N对N的调用关系收敛为N对1对M的清晰模型。其核心价值在于让团队无需自研胶水代码,即可灵活切换底层模型,同时保障安全性与可观测性。无论是基于OpenAI、Claude还是国产模型的业务场景,网关都能以标准接口统一纳管,成为内部AI基础设施的关键底座。本文以AGW为例,完整展示了10人小团队从服务器准备、docker-compose部署到客户

weixin_29047545的博客 307

从ST转国产ARM必看:GD32/APM32等5款芯片的SWD下载全攻略(含CH32特殊处理)

本文为从STM32转向国产ARM芯片的开发者提供了详细的SWD下载调试指南。针对GD32F103C8T6、APM32F103C8T6等五款热门国产芯片,详细说明了如何利用已有的ST-Link工具和Keil MDK环境进行程序烧录,并特别介绍了CH32F103芯片所需的独立器件库安装等特殊处理方法,帮助开发者实现平滑迁移,提升开发效率。

weixin_29195615的博客 279

嵌入式开发语言-C语言编程

C语言编程概述环境在Windows上构建C语言的环境安装在Mac上构建C语言的环境安装 概述 “C语言”被称为适合嵌入式系统开发的编程语言之一。 C语言在一般的编程中也是熟悉的开发语言,但实际上,如果试着使用C语言制作微型计算机的控制程序等,就必须使用与“普通的C程序”不同的使用方法。 作为一般的C语言的学习方法,使用“printf”“scanf”等标准函数的程序开发是固定的,但这些都是以UNIX和Windows等环境上的应用程序开发为前提的。 对此,没有显示器和键盘的嵌入式系统的微型计算机控制程序,该如何

编程老王 7983

阿里云开源的云原生AI网关Higress AI

阿里云开源的Higress AI网关是一款云原生API网关,专为AI场景优化设计。基于Envoy内核构建,支持主流AI模型协议,提供智能流量治理、安全管控和成本优化能力。核心功能包括Token级限流、多模型动态路由、语义缓存等,显著降低带宽和Token消耗。典型应用场景包括统一AI模型网关、企业AI中台和Kubernetes入口,已成功应用于零一万物等企业案例。Higress通过Wasm插件生态支持扩展开发,未来将深化AI编程和边缘协同能力,实现高性能、低成本的AI服务治理。

技术引领业务创新 2150

Abaqus复合材料层合板仿真

由于复合材料的损伤失效问题过于复杂,解析方法受到数学工具的限制难以实现,而实验也需要高昂的费用和时间成本难以广泛应用,Abaqus针对复合材料提供了专业的建模工具和损伤分析理论来模拟复合材料层合板在各种工况下的失效行为。

JXHXHL的博客 2542

2026年AI Agent平台趋势与核心技术解析

AI Agent作为人工智能领域的重要应用形式,正在经历从技术探索到产业落地的关键转型期。其核心原理是通过多模态处理、意图识别和任务分解等技术栈,实现类人的自动化决策能力。在工程实践中,现代Agent平台通过分层架构设计,结合向量数据库和负载均衡等技术,显著提升了系统的响应速度与稳定性。从技术价值看,这类平台不仅降低了AI应用开发门槛,更通过低代码/零代码方式赋能非技术人员。当前典型应用已覆盖智能客服、金融风控、智能制造等场景,其中华为云ModelArts、阿里云PAI等企业级方案在QPS峰值和私有化部署方

weixin_30263277的博客 302

ESP32-P4开发板实战:从零配置VSCode环境到点亮MIPI-DSI屏幕(避坑指南)

本文详细介绍了ESP32-P4开发板在VSCode环境下的配置流程,包括SDK安装、idf_component.yml依赖管理,以及MIPI-DSI屏幕驱动的实现方法。通过实战指南帮助开发者避开常见配置陷阱,快速完成从环境搭建到屏幕点亮的全流程,适用于物联网和嵌入式开发场景。

pp12345的博客 747

Utrust4701F与Utrust2700R读写器在银河麒麟系统的安装及测试步骤说明

Utrust4701F与Utrust2700R读写器支持银河麒麟系统,广泛应用会员管理、支付管理等领域。本文将重点介绍Utrust4701F与Utrust2700R读写器在银河麒麟系统的安装及测试步骤说明。以上方法适用于主流国产操作系统,如 优麒麟(UbuntuKylin)/ 中标麒麟(NeoKylin) / UOS(统信操作系统)/ 中兴新支点 / 红旗 linux(redflag linux)/ 普华 Linux(I-soft OS) / 威科乐恩 Linux(WiOS)等

华翔天诚科技 1834

ClaudeCode是假消息?揭秘API调用与模型开源的本质区别

大语言模型的‘源码’常被误解为可本地运行的完整系统,实则指代模型架构、训练逻辑与推理引擎等核心资产;而公开的CLI工具或Python SDK仅提供标准化API调用能力,底层仍依赖云端服务。这种混淆源于开发者对AI基础设施栈的认知断层——从Constitutional AI对齐机制、KV Cache优化到安全微调流程,才是真正不可开源的‘源码级’技术壁垒。当前热门的ClaudeCode安装教程、桌面版下载等搜索需求,本质是将API封装层误认为本地模型,导致大量无效实践。本文聚焦anthropic-cli与an

weixin_34221276的博客 613

Cadence IC5141保姆级教程:Bandgap电路四大仿真(稳定性/噪声/启动/PSRR)完整流程与调参心得

本文提供Cadence IC5141中Bandgap电路的四大仿真(稳定性仿真、噪声仿真、启动仿真、PSRR仿真)的完整流程与调参心得。从原理图检查到ADE L配置,详细解析各仿真步骤的关键参数设置与优化策略,帮助工程师高效完成电路设计与性能调优。

weixin_30399821的博客 1654

WeKnora开源RAG框架:企业级知识库构建与AI应用实战指南

检索增强生成(RAG)技术通过结合信息检索与大语言模型,有效解决了AI生成内容的事实准确性问题,成为构建可信AI应用的核心架构。其技术原理是将非结构化文档转化为向量嵌入,通过语义相似度检索相关知识片段,并注入到大模型的提示词中,从而生成有据可依的答案。这一技术对于开发智能客服、企业知识中枢和AI助手等场景具有关键价值。在实际工程落地中,文档解析、智能分块、混合检索与重排序等环节的优化至关重要。本文以腾讯开源的WeKnora框架为例,深入剖析其作为生产级RAG应用框架的设计理念,详解其如何通过可配置的“知识流

weixin_30786657的博客 310

手把手教你学Simulink——高频隔离型双向DC-AC逆变器的建模与仿真

本文系统讲解高频隔离型双向DC-AC逆变器的Simulink建模与仿真,基于DAB+全桥逆变两级拓扑,详述DAB移相控制原理、双闭环控制策略及分步仿真搭建流程。重点涵盖电路建模、控制环设计、参数设置与常见问题调试,强调模块化分步验证与分层控制逻辑,实现安全、高效、灵活的双向能量流动仿真,适用于储能、微电网等场景的系统开发与验证。

MHD0815的博客 110

航空电子系统标准全景图:ARP4754A、ARP4761、DO-178C、DO-254 的协同作用

通过 ARP4754A、ARP4761、DO-178C 和 DO-254 的相互配合,确保航空电子系统的安全性和功能性在开发过程中得到充分保障。每一个文件在不同层面发挥作用,共同构成了一个完整的、系统的开发和验证框架,确保航空电子设备达到适航要求。这些标准不仅帮助开发人员有条理地开发复杂的航空系统,还确保所有系统组件(软件和硬件)在整个生命周期内都能满足最严格的安全和可靠性要求。

qq_41854911的博客 1814

DLSS Swapper:原地替换游戏 DLSS dll,免等厂商补丁

想试新版 DLSS,却只能用厂商随游戏附带的那一版,回退还得再等一次补丁。DLSS Swapper 直接上手:Windows 10 64 位桌面应用,分安装版和便携版,把游戏目录里的 DLSS、FSR、XeSS dll 换成你挑的版本,也能换回原版。不用自己翻游戏目录找文件,也不用手动对校验和。 ## 一条命令跑起来 官方渠道是 winget,一行命令: ```bat winget inst

gitblog_00086的博客 455

RU DOS版、EFI版32bit/64bit BIOS常用工具

DOS版、EFI版的RU工具,可用来查看IO、MEM、PCI、SMBIOS等资源。亲测在EFI SHELL下可用。

​Portkey AI网关:一个用来连接多种人工智能模型的开源工具

包括OpenAI、Anthropic、Mistral、LLama2、Anyscale、Google Gemini等。GitHub:https://github.com/Portkey-AI/gateway官网:https://portkey.ai/features/ai-gateway。Portkey AI Gateway就像是一个AI模型的交换站,让开发者可以方便地使用和切换多种AI服务。安装体积只有45kb,处理速度提升了9.9倍,可以在多个不同的AI模型中来回切换。可以根据自己的需要进行灵活配置。

specssss的博客 1304

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

efm32 入门.pdf

本PDF共计22页,介绍的是操作驱动API,下载与否自己斟酌。

如何同时接入多个AI大模型?LLM代理/LLM网关的应用

企业组织如何利用LLM代理在AI和LLM API之上提供生产级功能。LLM 网关提供了一个用户界面,用于集成和测试不同的LLM,支持自定义扩展,并启用全面的日志记录和监控。这种灵活性使组织能够评估各种模型和提示,针对其特定用例进行优化。下图是LLM网关如何在Google Cloud Kubernetes引擎上部署LLM代理,然后从应用程序向其发出LLM调用。智能路由:选择代理还是 MoE?正如前面提到的,LLM 网关的一大优势在于其能够智能管理对 LLM API 的访问。

API 1278

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

OneAPI开源大模型网关选型指南:对比FastAPI+LangChain自建方案

本文介绍了如何在星图GPU平台上自动化部署支持OpenAI标准API的大模型网关镜像,实现开箱即用的多模型统一访问。该方案可简化AI应用开发流程,典型应用于企业级多模型智能路由和成本优化场景,提升开发效率与管理便利性。

weixin_36364707的博客 70

短短几天GitHub 30万Star!2026年必玩的开源AI网关OpenClaw保姆级部署教程

简单讲:它就是你一直想要的那种“”的私人 AI 助手。GitHub 上从 9k 星直接冲到 21 万+ 星,然后又一路涨到 30 万+,被称为。……二十多种聊天平台,统一接入一个“大脑”。你也可以在你自己的机器上跑网关(Gateway),数据不离开你的环境,非常适合在意隐私的人。我也部署了一个汉化的版本试试,很值得我们这种普通用户折腾。像是这里我接入了飞书国际Lark,直接在lark app上就可以和他发消息。

TechChaser的博客 1047
上一篇: 曾经炙手可热,现在无人问津的开发工具,别再学了!!!
下一篇: 告别命令行!docker.ui 图形化轻松管理 Docker
公众号-芋道源码
博客等级 码龄10年 1639粉丝 377原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值