这款 AI 网关项目简直太棒了,轻松接入OpenAI、LLama2、Google Gem)ini等 100 多种大语言模型!

Gateway 入门学习指南 - 一个高性能的AI网关,可靠连接200+LLM模型 Gateway为AI开发者提供了一个强大而灵活的工具,可以大大简化与多个LLM模型的集成过程。无论您是刚开始探索AI开发,还是正在构建复杂的AI应用,Gateway都能为您提供可靠的支持。我们鼓励开发者深入探索Gateway的功能,充分利用其提供的资源,打造出更加智能和高效的AI应用。开始使用Gateway,开启您的AI开发之旅吧!文章链接:www.dongaigc.com/a/gateway-introduction-guide-high-performance-ai-gateway。 阅读详情

前言

在当今的人工智能领域,接入和使用各种大语言模型是非常重要的。

然而,随着技术的不断发展,各种AI模型框架也越来越多,管理和整合多个模型、服务提供商和密钥可能会变得复杂。

幸运的是,而今有一款名为**“AI 网关”**的开源项目可以帮助简化这一过程。

本篇小编将介绍这个令人振奋的项目,以及它的特色功能、使用方法和应用场景。

项目介绍

AI Gateway 是一个AI领域的开源工具,是应用程序和托管 LLM 之间的接口,通过统一简单的 API,让用户轻松快速接入 100 多种大语言模型,如 OpenAI、Anthropic、Mistral、LLama2、Google Gemini 等。

项目地址:https://github.com/Portkey-AI/gateway

特色功能

  • ✅ 速度极快(快 9.9 倍),占用空间极小(已安装约 45kb)

  • ✅ 跨多个模型、提供程序和密钥的负载平衡

  • ✅ 回退确保您的应用程序保持弹性

  • ✅ 默认情况下具有指数回退的 自动重试

  • ✅ 插件中间件根据需要

  • ✅ 经过超过100B 代币的战斗测试

四大特征

1、统一API签名

2、倒退

3、自动重试

4、负载均衡

使用方法

部署属于自己的私人网关,前提是电脑上安装Node.js 和npx。

npx @portkey-ai/gateway

网关web服务启动之后,直接访问以下地址即可:

http://localhost:8787

而详细的用法及相关模型的调用是通过curl 命令请求的,比如使用OpenAI的模型:

curl '127.0.0.1:8787/v1/chat/completions' \
  -H 'x-portkey-provider: openai' \
  -H "Authorization: Bearer $OPENAI_KEY" \
  -H 'Content-Type: application/json' \
  -d '{"messages": [{"role": "user","content": "Say this is test."}], "max_tokens": 20, "model": "gpt-4"}'

支持的SDK基本上满足当下各种开发语言:Java、Python、GO、JS等。

支持接入的GPT产品有100+。以下只是一部门AI产品截图:

配置AI网关

AI 网关支持配置以启用多种路由策略,例如回退、负载平衡、重试等。 您可以在通过标头

进行 OpenAI 调用时使用这些配置x-portkey-config

// Using the OpenAI JS SDK
const client = new OpenAI({
  baseURL: "http://127.0.0.1:8787", // The gateway URL
  defaultHeaders: {
    'x-portkey-config': {.. your config here ..}, 
  }
});

下面是官方提供的一个示例配置,比如:在回退到 Gemini Pro 之前重试 OpenAI 请求 5 次。

{
  "retry": { "count": 5 },
  "strategy": { "mode": "fallback" },
  "targets": [{
      "provider": "openai",
      "api_key": "sk-***"
    },{
      "provider": "google",
      "api_key": "gt5***",
      "override_params": {"model": "gemini-pro"}
  }]
}

还可以配置在 2 个 OpenAI 密钥之间实现均匀的负载平衡。

{
  "strategy": { "mode": "loadbalance" },
  "targets": [{
      "provider": "openai",
      "api_key": "sk-***",
      "weight": "0.5"
    },{
      "provider": "openai",
      "api_key": "sk-***",
      "weight": "0.5"
    }
  ]
}

应用场景

AI Gateway 适用于各种人工智能应用场景,包括自然语言处理、文本生成、语音识别等。无论是个人开发者还是企业级应用,都可以受益于该工具的便捷性和稳定性。

总结

AI Gateway 是一个令人振奋的开源项目,为用户提供了轻松接入多种大语言模型的解决方案。

其极小的占用空间和快速的处理速度,以及丰富的特色功能,使其成为人工智能领域的导航工具。

通过该工具,用户可以更加高效地管理和集成多个模型,提高应用的稳定性和可靠性。如果你正在寻找一种简单而强大的方法来接入大语言模型,那么AI网关绝对值得一试。

AI 网关对决:Higress 与 OneAPI 的功能对比 AI 网关旨在统一管理与各种大型语言模型(LLMs)的交互。通过提供单一入口点,它解决了使用来自不同供应商的多个 AI 模型所带来的复杂性问题。这不仅简化了访问流程,提高了系统稳定性,还降低了成本,并灵活地利用了不同模型的优势。OneAPI是一个开源的 LLM API 管理 & 分发系统,可以帮助统一管理和转发各类大语言模型(如 DeepSeek 等)的 API 请求。它提供了一个兼容 OpenAI API 格式的统一接口,让用户能够方便地切换和管理不同的 AI 模型服务,同时支持令牌管理、负载均衡等功能。 阅读详情

相关推荐

使用 Higress AI 插件对接通义千问大语言模型

AI Gateway 的定义是 AI Native 的 API Gateway,是基于 API Gateway 的能⼒来满⾜ AI Native 的需求。将传统的 QPS 限流扩展到 token 限流。将传统的负载均衡/重试/fallback 能力延伸,支持对接多个大模型厂商 API,提高整体稳定性。扩展可观测能力,支持不同模型之间效果的对比 A/B Test,以及对话上下⽂链路 Tracing 等。Higress。

cr7258的博客 3113

一文搞懂:AI网关这个新东西是什么意思?有没有开源免费的选择?

AI网关是企业应用与内外部大模型之间的桥梁,它位于企业应用与内外部大模型的调用交汇点。 AI网关的主要功能 是 将应用请求 通过集中管理模块 转发给 1 内部自建模型、2 外部大模型服务提供商,甚至 3 海外模型提供商。 通过这种方式,AI网关在企业内管理了所有的AI出口流量,为开发运维团队提供了更好的维护切面,同时也为不同团队带来了不同的好处: 对于开发团队来说: AI网关可以让开发团队不再关心模型费用和申请问题,按需调用即可,加速应用构建。这意味着开发团队可以更专注于应用的开发,整体更省成本

xingxuechao的专栏 6676

Unity WebGL项目如何实现画布透明,完美融入网页背景(附.jslib文件与完整配置)

本文详细解析了Unity WebGL项目实现画布透明化的技术原理与实战步骤,从.jslib文件配置到前端框架集成,帮助开发者解决默认背景色问题,实现3D内容与网页设计的无缝融合。重点介绍了透明化核心机制、常见误区及React/Vue等现代框架中的最佳实践方案。

weixin_31896061的博客 301

AI-Gateway:一款整合了OpenAI、Anthropic、LLama2等大语言模型的统一API接口

AI-Gateway是一款针对大语言模型的统一API接口,该接口可以用在应用程序和托管的大语言模型(LLM)之间,该工具可以允许我们通过一个统一的API接口将API请求转发给OpenAI、Anthropic、Mistral、LLama2、Anyscale、Google Gemini等大语言模型。AI-Gateway支持通过自定义配置来实现多功能路由策略,例如回退、负载均衡和自动重连等。2、跨多模型和提供商实现负载均衡;4、默认配置下,支持自动重试;1、功能非常快,体积非常小;

FreeBuf_的博客 4062

OpenAI Realtime API实时语音交互实战指南

实时语音交互是人机自然对话的核心能力,其本质在于构建低延迟、双向、流式协同的音频-语义闭环。它突破传统REST API的请求-响应范式,依托WebSocket实现毫秒级音频输入流(audio.delta)、模型生成流(text/audio.delta)与动态控制流(session.update)三重并行。该技术显著降低端到端延迟至300ms以内,支撑语音助手、智能客服、对话式教育等强实时场景。本文聚焦OpenAI Realtime API的工程落地,详解PCM音频流处理、VAD语音活动检测、AudioCon

weixin_32285357的博客 395

从DCI-P3到sRGB:跨媒体色彩转换的矩阵奥秘与实践

本文深入解析从DCI-P3到sRGB的色彩空间转换技术,揭示矩阵运算的核心原理与实践技巧。通过实战案例展示如何正确处理白点差异、伽马曲线转换等关键环节,帮助影视从业者解决跨媒体色彩匹配问题,确保作品在不同设备上呈现一致的视觉效果。

weixin_28709649的博客 330

深入解析 AI Gateway:新一代智能流量控制中枢

从 2023 年下半年起,我们看到 Envoy、Apache APISIX、Kong、Solo.io、F5 等相继发布 AI Gateway 项目或产品,将网关技术与 AI 场景深度结合,旨在简化 AI 接入、强化安全治理和降低成本。我们讨论了它与传统网关的差异、盘点了市场上的主要产品并进行了对比,还深入拆解了 AI Gateway 的关键能力和架构细节,结合实例展示其作用,分析了当前的发展瓶颈和行业走向,也展望了未来传统网关如何拥抱 AI 以及 AI Gateway 本身的前景。

ServiceMesher 1849

ios生成海报使用dom-to-image中toPng报错isTrusted:true

主要是ios中safari浏览器解析错误,引起的报错,主要引起原因toPng会调用toSvg,toSvg直接将html标签内容通过svg中foreignObject标签直接包裹,然后转base64, 通过data:image/svg+xml;解决办法:二次生成(调用两次),判断ios or 安卓,生成第一次生成,不用参数,例如:scale: 3,在第二次生成再进行清晰度操作,避免多次生成,引起性能消耗。以上种种很多案例,使用canvase进行转换的,标签丢失,直接toPng版本的,兼容性问题。

weixin_44601570的博客 2107

5分钟科普:AI网关是什么?应用场景是什么?有没有开源的选择?

AI网关位于企业应用与内外部大模型调用的交汇点,能够灵活地将请求转发给内部自建模型或外部大模型服务提供商,甚至海外的服务商。它管理着企业所有的AI出口流量,为企业内的不同团队提供了多方面的优势。对于开发团队而言,AI网关简化了模型的选择和使用过程,让他们可以专注于产品的快速迭代而无需担心成本控制或复杂的申请流程。针对安全和治理方面的团队而言,AI网关通过实施访问控制、加密传输等措施来保证数据的安全性,并提供详细的日志记录以支持审计活动。对于基础设施团队而言。

xingxuechao的专栏 2611

【Claude】媒体文件处理错误:PDF 与 Image 过大的检测与预处理方法 bug报错已解决

图片压缩是必须的:原始图片的 base64 会占用大量 TokenPDF 提取文本优于传图片:文本版 PDF 比扫描版更省 Token分块处理大文件:不要一次性处理整个大文件控制分辨率:800x800 通常足够 Claude 分析。

博客 6366

信号处理算法:自适应滤波_(8).自适应陷波器

自适应陷波器是一种强大的工具,广泛应用于电力系统、通信系统和生物医学信号处理等领域。通过自适应调整滤波器的参数,自适应陷波器可以在特定频率处形成陷波,从而有效地抑制噪声或干扰信号。常见的自适应算法包括LMS和RLS,它们各有优缺点,可以根据实际需求选择合适的算法。

2401_87715305的博客 1371

AI Gateway:统一API,高效路由至200+大型语言模型

**AI Gateway** 是一个开源项目,旨在通过一个快速且友好的API接口,可靠地路由至超过200个大型语言模型(LLMs)。无论是开源还是闭源模型,AI Gateway都能提供统一的访问方式,简化请求流程。此外,该项目已准备好用于生产环境,支持缓存、故障转移、重试、超时设置、负载均衡等功能,并可在边缘部署以实现最低延迟。 ## 项目技术分析 AI Gateway 的核心优势在于其高效的...

gitblog_00865的博客 1065

机器人中的数值优化(二十一)—— 伴随灵敏度分析、线性方程组求解器的分类和特点、优化软件

本系列文章主要是我在学习《数值优化》过程中的一些笔记和相关思考,主要的学习资料是深蓝学院的课程《机器人中的数值优化》和高立编著的《数值最优化方法》等,本系列文章篇数较多,不定期更新,上半部分介绍无约束优化,下半部分介绍带约束的优化,中间会穿插一些路径规划方面的应用实例

慕羽★的博客 4206

操作指南:智能分析网关V3的AI算法配置步骤

视频流要求H.264/H.265,分辨率720P/1080P。

EasyCVR视频融合云平台的技术博客 785

K8s(二十二):k8s集群如何部署一个Spring Boot项目(依赖于MySQL和Redis外部服务)

🔴 K8s(二十二):k8s集群如何部署一个Spring Boot项目(依赖于MySQL和Redis外部服务)

✨ 欢迎来到【Seal ^_^ 的优快云博客】!✨ 2万+

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

AI网关是什么?为何而生?企业为什么需要AI网关?

通过访问控制、数据加密、内容审核等功能,保障AI交互的合规性。通过与企业各业务系统和大语言模型集成,实现跨系统、跨协议的服务能力互通与统一接入,为企业提供统一的API发现、管理、发布、安全防护和监控等API服务管理能力。、自研模型),支持国内外几乎所有主流AI服务商,有效屏蔽不同大语言模型(LLM)提供商之间的差异,为用户/客户端提供统一的 API 接口,简化开发流程。丰富的插件,如 AI 提示模板、提示装饰器和提示词防火墙,帮助开发者构建更安全、可控的 AI 应用,确保提示的合规性和一致性......

LUCKYLILIWA的博客 992

IMSL CNL 7.0.0 (x86-64)Crack

IMSL CNL 7.0.0 (x86-64)Crack intel的算法库破解文件,这是C++版本的破解文件

AI 网关零代码解决 AI 幻觉问题

本文将以高德地图和心知天气两个服务为例,介绍一下如何零代码使用 AI Agent 插件构建一个同时支持地图服务和天气服务的 Agent,同时会探讨 AI Agent 插件的实现原理。

阿里巴巴云原生的博客 1387

ssm框架搭建

这个是一个在idea上成功跑起来的ssm框架项目,保存在这里方便以后使用直接下载

温度PID控制PLC程序

温度PID稳定控制程序,适用于欧姆龙PLC,对其他PLC也具有很大参考价值

AI网关对企业的意义及如何构建 AI 网关

AI网关为组织提供了一个强大的工具,帮助简化和集中管理多种AI模型。通过实施AI网关,组织不仅可以提高安全性和合规性,还能实现性能优化和灵活的访问控制。尽管构建和维护AI网关面临一些挑战,但遵循最佳实践并通过迭代改进,你可以最大限度地发挥AI网关的潜力,为你的组织带来实际收益。通过APIPark 这类AI网关,企业组织将能够在AI应用的快速发展中,保持竞争优势,推动创新,并确保高效、安全地使用AI技术。

API 1338

一文吃透AI Gateway:从原理、核心功能到部署方案选择

AI Gateway不是凭空创造的新技术,是成熟网关架构在大模型时代的升级产物。它一次性解决多模型切换麻烦、密钥泄露、成本失控、供应商锁定、数据无审计、隐私泄露六大行业痛点。现在赛道划分非常清晰:企业级市场由Kong、Databricks把持;安全网关由思科、Palo Alto布局;云端聚合工具是OpenRouter、Cloudflare;开源社区主打LiteLLM;面向个人开发者的本地轻量化方案,ServBay AI Gateway是代表性选择。

HHX_01的博客 969

Spring AI Gateway:从入门到实战,打造智能AI服务网关

本文介绍了Spring AI Gateway的设计与实现,这是一个专门为AI服务优化的API网关。文章首先分析了企业集成AI服务时面临的问题,如API密钥管理、限流控制和成本追踪等,提出了Spring AI Gateway的解决方案。该网关提供统一接口、智能路由、流量控制等核心功能,与传统API网关相比,特别针对AI服务的流式响应、语义缓存等特性进行了优化。文章详细介绍了环境准备、核心架构设计以及智能路由配置等关键实现,通过代码示例展示了如何构建高可用的AI服务网关,适用于企业内部AI平台、SaaS应用等多

qq_41262225的博客 1283

AI网关在应用集成中起到什么作用?

简单来说,AI 网关就像是一个中介,帮助不同的生成AI模型(比如OpenAI的GPT)和应用程序之间进行无缝对接。你可以把它看作一座智能的桥梁,管理应用和LLM API之间的数据流,确保信息的顺畅传递。AI网关的价值在于其专业功能,能够以最佳性能处理基于自然语言的API流量。它不仅是信息传递的渠道,还具备多种功能,使得数据管理更加高效。中介角色:作为中介,AI网关灵活地管理LLM与应用之间的请求和响应,确保沟通顺畅、数据高效传输。智能解析。

API 719

AI Gateway 介绍

摘要 AI网关作为API网关的进化版本,专为处理大规模AI服务流量而设计。传统API网关主要解决跨域访问、性能优化和安全防护等问题,而AI网关在此基础上新增了多项AI专属能力:包括LLM感知的流量调度(使用Prefix Cache和VTC算法)、Token限流管理、自动故障转移、内容安全审核及MCP协议转换等。以Higress和Envoy为例,AI网关采用控制面与数据面分离架构,通过插件机制扩展功能,有效降低TTFT(首次响应时间),提升系统吞吐量,并实现多租户管理和内容安全防护。随着AI应用爆发式增长,A

yuluo的博客 2098

AI智能分析网关V4:太阳能+4G智慧水库远程可视化智能监管方案

对于敏感区设置最高人员数量进入,在指定区域内设定区域人数阈值,在该区域内若人数超出设置的人数阈值则触发告警,适用于人群拥挤、聚集检测。

TSINGSEE青犀视频官方技术博客 1299

产品经理实战指南:95%的AI智能体都失败了!我们做错了什么

AI智能体项目失败率高达95%,主要原因是产品经理误将"功能完整"当"价值闭环",将"技术可行"当"产品可用"。成功的关键在于:专注解决特定问题而非追求全能;建立任务拆解与错误拦截机制;严格控制成本并设置预算上限;标准化接口确保数据一致性。AI产品经理的核心能力不是技术,而是风险管理,要从"秀技术"转向"控风险、创价值"。

m0_74942241的博客 962

【亲测免费】 Portkey-AI Gateway 开源项目教程

Portkey-AI Gateway 是一个开源的网络网关项目,旨在提供一个灵活、可定制的解决方案,用于连接和管理不同网络之间的通信。该项目支持多种网络协议,并能够在多个网络层级上进行操作,从而实现高效的网络数据传输和转换。 ## 项目快速启动 ### 环境准备 在开始之前,请确保您的开发环境已经安装了以下工具和依赖: - Git - Node.js (推荐使用最新稳定版本) - npm ...

gitblog_00960的博客 846
上一篇: MacOS平台翻译OCR软件,双管齐下,还可自定义插件,为其添砖加瓦!
下一篇: DDColor:AI图像着色工具,优秀的黑白图像上色模型,支持双解码器!
孜孜孜孜不倦
博客等级 码龄7年 1803粉丝 277原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

孜孜孜孜不倦

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值