Spring AI-29.NVIDIA LLM API 聊天模型集成指南

Spring AI-29.NVIDIA LLM API 聊天模型集成指南

Spring AI 通过复用 OpenAI 客户端实现与 NVIDIA LLM API 的集成，支持调用 NVIDIA 平台的第三方模型（如 Meta Llama 3.1、Mixtral 等）。NVIDIA LLM API 提供高性能推理服务，适合需要低延迟和高吞吐量的企业级应用。以下是详细的集成步骤和使用说明：

一、环境准备

1. 获取 NVIDIA API 密钥

   • 访问 NVIDIA AI 平台 注册账号并申请模型访问权限。
   • 在模型详情页（如 Meta Llama 3.1-70b-instruct）获取 API Key。

2. 添加依赖
   在项目中引入 OpenAI 客户端依赖（NVIDIA LLM API 兼容 OpenAI 协议）：

   <!--