免费AI网关测评：LiteLLM、New API和1Panel AI网关

随着大模型应用从“公网API调用”模式，逐步转向“私有化、混合部署”模式，企业对AI网关的核心需求也从基础的“统一接口适配”，升级为全维度的“模型统一治理”。现阶段企业AI基础设施的运维与管理，不仅需要单一网关端点对接多厂商大模型资源，更需要实现全流程可视化、可管控、可审计的精细化运营。具体包括实时掌握在线模型、可用渠道状态；精准统计Token消耗、请求成功率、成本归属；实现API Key的分发、回收以及权限划分；落地限流熔断、内容合规校验、操作日志审计等安全运维能力。

在多模型、多用户、多业务线的企业级AI应用场景中，一套具备可观测、可审计、可管控能力的AI网关系统，能够极大地降低模型运维、权限管理、成本管控的综合成本。

本文选取了LiteLLM、New API和1Panel AI网关三款主流的AI网关产品，从产品定位、安装部署、功能体验、权限管控、用量统计五大核心维度进行对比，为企业运维团队、AI业务团队提供选型参考。

一、产品定位

1.LiteLLM：全球化企业级AI网关与模型调度中枢

LiteLLM是面向企业平台团队的企业级AI网关，提供统一的OpenAI兼容接口，支持对接上百种大模型。其核心优势为标准化协议转换与请求调度，支持虚拟密钥、用量统计、预算管控等功能，全球化生态完善，更适合公有模型的接入。

2.New API：大模型网关与AI资产管理系统

New API基于One API（LLM API管理&分发系统）二次开发迭代，定位为“大模型网关与AI资产管理系统”，深度贴合国内开发者、个人站长、中小团队及API转售运营商的使用需求。该产品构建了“渠道管理-令牌分发-用户分组-计费充值”的完整运营闭环，依托单一管理后台即可完成多上游渠道接入、批量密钥生成、倍率配置、数据统计、兑换码充值等全流程操作。

3.1Panel AI网关：企业专属的AI统一接入与治理平台

1Panel AI网关由1Panel开源项目组开发，定位为“企业专属的AI 统一接入与治理平台”，聚焦企业AI的使用与治理场景，提供从模型统一接入、智能路由到合规审计的全链条管控，全方位适配私有化场景下企业AI治理需求。

二、安装部署

下面我们对比一下这三款AI网关产品在安装部署方面的差异。

1.LiteLLM（多容器）

应用本体镜像体积超过500MB，且必须配套PostgreSQL和Redis组件运行，整套部署环境资源占用接近1GB。产品整体配置规则复杂，环境适配门槛高，对部署运维人员技术能力要求较高；

2.New API（多容器）

应用镜像为30MB，但官方标准生产部署方案，需要额外依赖PostgreSQL和Redis两大组件，整套环境部署资源占用超500MB。同时需手动修改Compose配置文件、适配网段、配置环境变量，虽然本体轻量化，但完整部署流程繁琐、依赖组件多；

3.1Panel AI网关（单容器）

整体镜像为30MB，单容器集成全功能模块，无需额外挂载数据库、缓存等组件。依托1Panel应用市场可以一键完成安装，所有业务数据、缓存数据均存储在内置的轻量数据库中，无额外容器，开箱即用，能够快速部署落地。

三、功能体验

LiteLLM、New API、1Panel AI网关这三款产品均围绕“统一接入大模型”开展功能实现，但功能的组织方式各不相同。LiteLLM更偏向于“模型组+部署+策略”的开发者视角，New API更侧重“渠道+令牌+运营”的站长视角，1Panel AI网关则从“算力→推理→网关→门户”的一体化视角出发。

1.LiteLLM上手体验

① 注册模型供应商

在LiteLLM Proxy中，可以通过config.yaml或Admin UI两种方式注册模型供应商。以Admin UI为例，管理员进入LiteLLM的“Models+Endpoints”后台页面，可以看到当前已注册的模型列表，在“Add Model”标签页可以新增模型供应商；

② 生成虚拟密钥

LiteLLM的密钥模型以“Team/User→Virtual Key”为核心。Virtual Key（虚拟密钥）是下游应用实际调用LiteLLM的凭证，可以关联Team和User，并且支持模型白名单、预算、RPM/TPM等限制。同时，可以结合“End User”标识进行终端用户级别的调用追踪与归属；

③ 密钥运维管理

Virtual Key详情页面会展示密钥的预算、已用额度、模型限制、RPM/TPM限制等核心数据。LiteLLM企业版支持密钥自动轮转，支持对接AWS、Azure、GCP、HashiCorp Vault等主流密钥管理平台。

2.New API上手体验

① 添加上游模型渠道

New API的模型接入以“渠道”为单位。管理员在后台进入“渠道管理”页面，选择模型的类型（支持OpenAI、Claude、Gemini、Azure及自定义等模型接口类型），填入上游的API Key与 Base URL，系统会自动拉取或手动映射模型列表；

② 配置渠道调度策略

New API的密钥链路为“渠道（上游Key）→ 令牌（下游Key）”。渠道负责“连向哪家供应商”，令牌负责“对外暴露什么”。渠道支持分组、加权随机、多Key轮询、失败重试功能；令牌则支持分组、模型限制、倍率、有效期、独立查询等功能；

③ 管理访问令牌

New API在“渠道→令牌”这条链路上深度适配Token运营场景，即单一上游渠道可被多个用户/令牌共享，不同用户分组可以设置不同的倍率，管理员还能通过兑换码和充值系统完成商业化计费。

3.1Panel AI网关上手体验

① 添加上游模型账号

1Panel AI网关通过账号池统一管理上游供应商密钥。在“账号池”页面点击“添加账号”按钮，选择模型供应商，填入上游API Key和接口地址，同时完成模型映射、优先级、最大并发等参数配置即可。 账号池内可以统一维护多家大模型账号，支持启用/禁用、编辑和删除操作，实现上游模型资源的集中纳管；

② 模型广场

模型广场是1Panel AI网关的模型统一管理入口，集中纳管所有已接入的大模型，模型状态、资源信息一目了然，有效降低运维排查成本；

③ 创建访问密钥

管理员可以在1Panel AI网关的“API Keys”页面创建下游访问密钥，生成业务调用所用的API Key。同时，1Panel AI网关支持密钥列表管理，可以查看密钥名称、密钥值、创建时间以及最近使用时间等信息，可以对密钥执行编辑或删除操作，用于业务系统对接网关调用大模型。

四、权限管控

1.LiteLLM

LiteLLM采用基于Organization、Team、User与Virtual Key的分层权限模型，内置多类角色。LiteLLM企业版可以实现团队预算、模型白名单与日志独立路由功能，免费版权限能力相对比较基础。

2.New API

New API设置了普通/管理员/超级管理员三种角色，依靠用户分组实现权限隔离，支持账号管控、差异化权限计费及跨分组容灾调度，能够适配多租户运营需求。

3.1Panel AI网关

1Panel AI网关的席位管理采用的是“用户组→用户→API Key”三级权限继承管控体系，建立了清晰的资源边界。其权限管控以用户组为核心粒度，统一配置并发限额、Token配额和可用模型范围，用户组下所有API Key自动继承对应权限，实现调用配额、模型白名单与可用状态的一键统管。1Panel AI网关支持API Key全生命周期管理，不同用户组之间数据、密钥、调用记录相互隔离，满足企业多部门、多业务线共用AI网关的合规管控需求。

五、用量统计

1.LiteLLM

LiteLLM自带UI可视化用量看板，支持多维度消耗统计，指标可导出至Prometheus或回传各类观测平台。

2.New API

New API的控制台内置数据看板，支持多套计费模式与预付费、兑换码，最贴近API转售运营场景。

3.1Panel AI网关

1Panel AI网关集成了企业级全维度统计看板，支持按用户、供应商、模型、上游账号和时间等多维度进行精准筛选，集中展示请求量、总Token（区分输入/输出）、缓存Token等核心指标。

六、产品选型总结

在真实体验了LiteLLM、New API和1Panel AI网关三款产品后，我们尝试给出一些选型指引。

我们看到，三款AI网关均能实现大模型API的代理转发，其中LiteLLM偏开发侧灵活集成，适合技术团队二次开发；New API轻量易部署，能够满足中小型组织的分发计费场景；1Panel AI网关则在可视化管理、权限管控、用量审计、智能路由与内容合规等方面优势突出，开箱即用、适配政企私有化环境，更适合企业级AI治理场景。用户可以按照自身技术栈、运维能力与业务规模进行灵活选型。