HIGRESS高可用：构建稳定可靠的网关系统

已于 2025-07-23 22:48:43 修改
阅读量1k 收藏 14
点赞数 20
CC 4.0 BY-SA版权
分类专栏： AI应用落地+AI网关 AI应用落地+AI微服务 AI应用开发落地 文章标签： python 开发语言 Higress HIGRESS高可用 构建稳定可靠的网关系统
于 2025-06-13 00:05:33 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/csdn122345/article/details/148604848
了解本专栏 订阅专栏 解锁全文 超级会员免费看
Higress 入门：初探阿里云原生 AI 网关
加入“Super Entity”，与全能开发团队共探AI智能体与数字人项目，开启前沿技术之旅。
05-15 499
Higress 是一款由阿里巴巴推出的云原生 API 网关，其内核基于 Istio 和 Envoy。与传统 API 网关不同，它深度聚焦于 AI 场景，支持国内外众多主流模型供应商，如 OpenAI、百度文心一言等，还兼容基于 vllm/ollama 等自建的 DeepSeek 模型，能够满足不同类型企业对 AI 能力集成与管理的需求。Higress 作为一款功能强大的云原生 API 网关，在 AI 时代展现出独特的优势。
k8s内部署higress
cnzzs的博客
05-12 766
k8s版本：登录后复制1.2.3.
docker部署安装Higress
优快云博客技术，java高级工程师，业务层架构师，高级管理认证，毕业设计可以联系我
01-24 488
【代码】docker部署安装Higress。
higress安装
ydh_hrkj的博客
01-10 567
higress网关
将现有 REST API 转换为 MCP Server工具 -higress_higress mcp
jennycisp的博客
06-07 1172
Higress 是一款云原生 API 网关，集成了流量网关、微服务网关、安全网关和 AI 网关的功能。它基于 Istio 和 Envoy 开发，支持使用 Go/Rust/JS 等语言编写 Wasm 插件。提供了数十个通用插件和开箱即用的控制台。Higress AI 网关支持多种 AI 服务提供商，如 OpenAI、DeepSeek、通义千问等，并具备令牌限流、消费者鉴权、WAF 防护、语义缓存等功能。
Higress + Nacos 微服务网关最佳实践
阿里云云栖号
02-15 3012
本文将介绍 Higress 组合 Nacos 作为微服务网关能力，并介绍微服务网关发展的两个趋势，为网关的选型指明道路。
Higress 开源一周年：新版本，新标准，新工具，新征程
阿里巴巴云原生的博客
01-25 1316
Higress 1.3 版本已经正式发布，除了增加的新功能，已有能力也在大量社区用户反馈的过程中不断完善改进，这个版本同时标志着 1.x 进入可以大规模生产使用的状态。
Higress 插件开发：释放网关的无限潜能
加入“Super Entity”，与全能开发团队共探AI智能体与数字人项目，开启前沿技术之旅。
05-15 195
Higress 插件是运行于网关之上，用于增强或修改其功能的独立组件。这些插件能够实现身份验证、流量控制、日志记录、数据转换等多样功能。例如，在面对不同国家的用户访问时，借助插件，Higress 可轻松实现地域定向的内容分发；在处理金融交易数据时，可运用加密插件保障数据安全。插件为 Higress 提供了灵活应变、满足多元业务需求的能力，使其在复杂多变的互联网环境中始终保持竞争力。Higress 插件开发为企业数字化业务拓展提供了强大助力。
Higress 性能优化：打造云原生 API 网关的高速公路
加入“Super Entity”，与全能开发团队共探AI智能体与数字人项目，开启前沿技术之旅。
05-15 197
Higress 性能优化是一个系统工程，涉及 Envoy 参数调优、资源管理、缓存机制、连接管理等多个方面。通过合理的配置和优化，Higress 能够在高并发场景下保持高性能、低延迟和高稳定性，满足企业应用的多样化需求。在实际应用中，要根据业务特点和负载情况，灵活运用各种优化策略，持续提升 Higress 的性能表现。
04-Higress x Elasticsearch构建更智能的AI网关 程治玮 20250419
04-19
Higress AI网关结合Elasticsearch，构建出一种新型的智能网关架构，利用其深度集成的特性，在推理服务场景中提供多种高级功能。Higress AI网关的核心功能包括但不限于多模型适配、故障切换、多租户管理、Token限流和...
Higress实战-01.安装部署
GQ_YIN日常记录
03-22 1203
Higress安装部署
Higress安装
一个老Java开发的自白
07-14 936
1、前提条件：安装docker检查docker状态2、安装higress安装时顺便配置nacos地址：或者安装时可配置nacos的账号密码，管理登录初始密码：123456如果报错需要先安装compose#下载docker-compose文件#将文件复制到/usr/local/bin环境变量下面上传到目录：/usr/local/bin执行命令：mv docker-compose-linux-x86_64 docker-compose。
云原生内容分享(十一)：下一代云原生网关
之乎者也·的博客
02-09 2103
Q3：Higress 和阿里巴巴的另一款开源网关 Tengine 有哪些不同？
【云原生网关】Higress 从部署到使用详解
congge
10-20 7160
Higress 从部署到使用详解
Higress基于 Docker Compose 进行独立部署
ChinaBiuBiuBiu的博客
10-17 934
Higress使用脚本方式安装,服务来源配置注意事项.
Higress 0.7.0 版本发布：GA 进入倒计时
阿里巴巴云原生的博客
04-03 493
作者：Higress。
Higress 重磅更新：AI 能力全面开源，云原生能力再升级
阿里巴巴中间件
06-20 1543
新版本简介AliwareHigress 最新的 1.4 版本基于为通义千问，以及多家云上 AGI 厂商客户提供 AI 网关的积累沉淀，开源了大量 AI 原生的网关能力。同时也在 Ingress、可观测、流控等云原生能力上做了全方位升级：AI 能力全面开源：提供包含安全防护、多模型适配、可观测、缓存、提示词工程等领域在内的多个开箱即用插件，核心能力例如：AI 代理插件：支持对接多厂商协议，共支持15...
同时安装了 Python 3.8.20 和 Python 3.12.3如何指定默认版本
最新发布
m0_71071763的博客
07-22 255
0 /usr/bin/python3.12 2 自动模式。1 /usr/bin/python3.12 2 手动模式。2 /usr/bin/python3.8 1 手动模式。有 2 个候选项可用于替换 python3 (提供 /usr/bin/python3)。要维持当前值[*]请按<回车键>，或者键入选择的编号：2。
Higress AI 网关
05-23
### Higress AI 网关的功能概述 Higress 是一款由阿里云推出的云原生 API 网关，专为现代 AI 应用设计，具有强大的功能集合和灵活的配置方式。以下是 Higress AI 网关的主要功能及其使用方法： #### 1. **统一接入层** Higress 提供了一个集中化的入口来管理来自不同供应商的多个大型语言模型 (LLMs)[^1]。这种统一接入的方式极大地简化了开发者的工作量，使得对接不同的模型和服务变得更加便捷。 #### 2. **多模型负载均衡与 fallback 机制** Higress 实现了高效的多模型负载均衡策略，在面对单个模型服务不可用的情况下，能够自动触发 fallback 机制，切换至备用模型以维持系统的高可用性[^2]。这一特性对于保障用户体验和业务连续性尤为重要。 #### 3. **AI 缓存优化** 通过集成外部存储系统（如 Elasticsearch、Redis 或 Weaviate），Higress 能够缓存已计算过的 AI 模型结果。这不仅可以加速重复请求的响应时间，还有效降低了对上游 LLMs 的调用频率，进而节省成本[^4]。 ```python import redis # 示例代码：连接 Redis 并设置缓存键值 redis_client = redis.StrictRedis(host='localhost', port=6379, db=0) cache_key = 'model_response:question' if not redis_client.exists(cache_key): response = call_model_api(question) # 假设这是调用模型接口的方法 redis_client.setex(cache_key, 3600, response) # 设置过期时间为 1 小时 else: cached_response = redis_client.get(cache_key).decode('utf-8') ``` #### 4. **意图识别与动态路由** 基于用户的输入内容，Higress 可智能判断并选择最适合当前场景的 LLM 来处理请求。此功能提高了整体效率，并确保每次交互都能获得最优解。 #### 5. **API Key 治理** 为了增强安全性及可维护性，Higress 支持定义 API Key 池来进行流量分配；一旦检测到某特定 key 出现异常状态，则立即停止其工作直至恢复正常为止[^4]。 #### 6. **消费者管理** 允许管理员创建虚拟 “消费者”，并通过这些身份绑定各自独立的一组访问凭证及相关配额限制条件。如此一来便实现了对最终使用者行为的有效追踪与控制，同时也保护了原始供应商密钥免受泄露风险的影响。 #### 7. **可观测性支持** 内置丰富的监控仪表盘让运维人员随时掌握整个平台运行状况，包括但不限于延迟统计、错误率分析以及资源利用率报告等方面的信息展示[^3]。 --- ### 配置指导 要充分利用以上提到的各项能力，需按照官方文档完成相应初始化操作步骤之后再做进一步调整定制化参数设定过程如下所示: 1. 安装部署 Higress 控制平面组件； 2. 添加目标后端微服务地址列表； 3. 设定全局默认超时阈值及时重试次数上限； 4. 开启日志记录开关以便后期排查问题线索； 5. 如果涉及敏感数据传输则启用 TLS 加密通道保护通信链路安全。 具体命令行实例演示见下方片段： ```bash helm install higress ./higress --namespace=higress-system \ --set gateway.replicaCount=2 \ --set ingressController.enabled=true \ --set metricsServer.enabled=true ``` 上述脚本展示了如何借助 Helm 工具包一键安装最新版本的 Higress 到 Kubernetes 集群当中去的同时开启必要的附加模块选项。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

CarlowZJ

我的文章对你有用的话，可以支持

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值