红帽AI 3简介

今年五月在红帽峰会上，我们围绕红帽AI产品组合发布了一系列公告，包括推出红帽AI推理服务器和红帽AI第三方验证模型，集成Llama Stack和模型上下文协议（MCP）API作为开发者预览版，以及成立了llm-d社区项目。

该产品组合的最新版本——红帽AI 3，将于11月全面上市，为企业带来了许多这些生产就绪的能力。此外，我们还提供更多工具和服务，赋能团队提高效率、更有效地协作并在任何地方进行部署。让我们深入探讨红帽AI 3对您的业务意味着什么。

1. 通过支持SLA的推理实现新水平的效率

红帽的策略是在任何加速器、任何环境中服务任何模型。最新的推理改进提供了满足生成式AI（gen AI）应用服务级别协议（SLA）的特性、对额外硬件加速器的支持，以及扩展的经过验证和优化的第三方模型目录。一些亮点包括：

• llm-d 现已在 红帽OpenShift AI 3.0 中全面上市。llm-d提供Kubernetes原生的分布式推理，这对于扩展和管理大语言模型（LLM）不可预测的特性至关重要。与许多传统横向扩展工作负载的一致行为不同，LLM请求（如提示和响应）可能差异很大，使得单体式扩展效率极低。通过智能分布推理过程，llm-d提供一致的资源分配和可预测的响应时间，这对于满足严格的SLA以及优化企业生成式AI应用的经济和性能可行性至关重要。

• 红帽AI推理服务器 的最新版本3.2，通过企业级版本的vLLM和访问红帽AI的模型优化能力，提供一致、快速且经济高效的推理，并将对NVIDIA和AMD GPU的支持扩展至包括IBM Spyre。这种新加速器的集成为客户提供了支持其未来AI战略所需的灵活性、优化和风险管理。

• 红帽AI 3包含一批新的经过第三方验证和优化的模型，这些模型涵盖了来自Open AI、Google和NVIDIA等提供商的前沿开源模型。这简化了模型选择，并帮助组织降低硬件成本、实现更高吞吐量并减少推理延迟。这些企业就绪的模型可在红帽AI Hugging Face仓库和红帽OpenShift AI模型目录中作为经过扫描且可追溯的容器获取。新模型包括多语言、代码、摘要、聊天等多种类型。

• 对于希望成为其用户的模型提供商的企业IT组织，OpenShift AI 3.0提供了对模型即服务（MaaS） 能力的访问，作为开发者预览版。MaaS允许组织利用基于API的模型和自管理模型的组合，用于无法在公共云环境中运行的用例。此版本包括MaaS控制平面、集成API网关、基于角色的访问控制（RBAC）和成本跟踪指标，这些共同使组织能够集中资源、加速创新并降低与私有AI相关的运营成本。

2. 加速智能体AI创新

云原生开发的演进在过去十年中彻底改变了许多组织构建应用程序的方式。同样，生成式AI也改变了软件开发标准。现在，第三波AI浪潮即将带来更大的变革：智能体AI。

OpenShift AI 3.0中的几项新功能有助于为可扩展的AI智能体系统和工作流奠定基础，提供您加速交付智能体AI所需的框架、工具和能力，包括：

• 采用Llama Stack的模块化自适应AI平台： 为了增强灵活性并简化AI智能体操作，我们在OpenShift AI 3.0中作为技术预览版发布了Llama Stack API。这为广泛的AI能力——从检索增强生成（RAG）、安全性和评估到遥测、使用vLLM的推理以及使用MCP的工具调用——提供了一个标准化的入口点，使组织能够集成自己的API、外部提供商和首选的智能体框架。红帽AI提供了一个可信、全面且一致的平台，使得能够以注重安全的方式在生产环境中大规模部署、管理和运行AI智能体。

• MCP支持 - 为了加速AI智能体系统的部署，OpenShift AI 3.0 提供了对新兴开放标准MCP的支持，作为开发者预览版。MCP服务器充当各种外部工具、数据源和应用程序的标准化的"翻译器"。它通过处理与外部应用程序和数据源的复杂集成来补充Llama Stack API，使Llama Stack无需为每个外部工具进行定制集成。我们还策划了一系列MCP服务器。这使得ISV能够将其工具和服务直接连接到红帽AI。

• 简化的专用体验 - OpenShift AI 3.0提供了专用体验，例如AI中心和生成式AI工作室，以满足平台工程师和AI工程师的不同需求。AI中心使平台工程师能够探索、部署和管理基础资产，如LLM和MCP服务器。它充当管理AI资产生命周期和治理的中心点。生成式AI工作室为AI工程师提供了一个实践环境，用于发现、测试和管理已部署的AI资产。AI工程师可以试验不同的模型、调整超参数以及为生成式AI应用程序（如聊天和RAG）制作原型。

3. 将模型连接到您的私有数据

红帽AI 3通过提供多种方式为您的领域定制AI，使团队能够提高模型性能和准确性。红帽AI 3中的工具适用于所有AI专业水平的贡献者——从开发人员到数据科学家，再到AI工程师——简化了协作和互操作性。新功能包括：

• 模块化和可扩展的方法 - OpenShift AI 3.0引入了一个新的模块化、可扩展的工具包用于模型定制，体现了InstructLab从强大的端到端方法论向更灵活方法的演进。该工具包包括用于数据摄取、合成数据生成（SDG）、模型调优和评估的独立的、专门的Python库，为团队提供了更大的控制和更高效的模型定制路径。这使得数据科学家、AI研究人员和AI工程师能够仅选择他们需要的组件，帮助他们更快、更高效地工作。

• 增强的RAG能力 - OpenShift AI中现在提供了一个新的、扩展的RAG体验。这种简化的工作流程使开发人员和AI工程师能够轻松使用docling等开源技术访问数据源，并将其连接到模型、应用程序和智能体。该平台现在支持OpenAI的嵌入和补全API以及Llama Stack选项，提供了在不同环境中部署RAG解决方案的灵活性，同时保持功能的一致性。

4. 在混合云中扩展AI

生产力、一致性和增强的用户体验是成功AI战略的关键。在红帽，我们的目标是提供一个AI平台，使企业能够跨混合云一致地构建、调优、部署和管理AI模型及智能体应用程序，提供提高价值实现时间的统一体验。OpenShift AI 3.0提供：

• 通过模型注册中心实现集中控制 - 模型注册中心为管理AI模型提供了更简化的体验，允许团队更轻松地发现、重用和管理广泛的资产——从客户自己的模型和构件到流行的社区和第三方选项。这些功能旨在提高生产力、促进一致性并有助于确保集中的生命周期管理。

• 改进的AI管道用户体验 - 增强的AI管道用户体验提供了数据科学家和AI工程师所需的工具，以更快地训练和调优模型，通过可运行的示例和可重用组件简化工作流程，并且能够引入您自己的Argo工作流以实现终极灵活性。

• 增强的可观测性 - 为了为组织提供AI性能的集中视图以及改进的控制和一致性，OpenShift AI 3.0包含了基于OpenTelemetry可观测性标准的基础平台指标、零配置GPU监控、关键AI指标（如首次令牌时间和吞吐量）的参考仪表板，以及导出API以便与企业监控平台平滑集成的能力。

• 智能GPU即服务 - OpenShift AI 3.0使用先进功能来增强GPU利用率、最大化效率并支持广泛的工作负载。通过为所有支持NVIDIA MIG的设备提供加速器切片，企业可以为多个用户分区GPU，有助于确保没有资源被浪费。通过利用Kueue，该平台支持更多样化的AI工作负载，包括Ray训练作业、基于训练运算符的作业和推理服务，以便在共享硬件上进行高效的调度和管理。

企业AI的新方法

红帽AI建立在这样一个信念之上：企业AI不是一种一刀切的解决方案。它是一种战略性的、整体性的方法，认识到现实世界业务挑战的复杂性和多样性。红帽提供了一个灵活的平台，使组织能够超越现状，提供跨混合云选择任何模型、硬件或部署策略的自由。这种对选择、控制和效率的承诺使我们与众不同——我们不仅提供AI，我们还提供一个可靠、全面的基础，使组织能够从其AI投资中获得最大收益。

要了解更多关于红帽AI 3的信息并探索如何为您的世界构建AI，请观看我们的新功能与未来展望直播会议并访问我们的网站。红帽AI 3将于11月全面上市。