ChatGPT太贵？教你用Spring AI在本地白嫖聊天模型！

你有没有想过，本地也能跑一个类 ChatGPT 的模型，不用连 OpenAI，也不用担心 Key 被封？今天，我来带大家体验一下 Spring AI 里非常酷的一个能力：用 Docker Model Runner 聊天模型聊起来！

我最近在折腾 Spring AI 的时候，发现它除了支持 OpenAI、Azure、Anthropic 这些平台外，还有一个宝藏功能：可以在本地通过 Docker 启动语言模型，直接和它对话！听起来是不是很像“开箱即用的 AI 聊天机器人”？这不，我立马就搞了一下，今天就以故事的方式，把全过程分享给大家！

准备好工具，才能开干！

话说，有一天我灵感来了，想着用 Spring Boot 做个“类 ChatGPT 聊天助手”，但我不想连外网 API。于是我找到了 Spring AI 的 Docker Model Runner 支持，发现居然可以本地跑模型！

不过嘛，凡事都有准备环节，先把前提条件交代清楚：

• JDK 17+
• Spring Boot 3.2+
• Spring AI 0.8.1+
• Docker 已安装且运行中
• 网络可以拉模型（建议科学上网）

还有个重要前提是，Spring AI 已经支持了多个开源模型，像是：

• Ollama 系列（比如 Mistral、LLaMA2）
• LM Studio、本地端口模型
• 甚至自己构建一个聊天服务也可以

我们今天就基于 Spring AI 的 Docker Model Runner 来跑一个 LLM 聊天服务。

选项一：直接连接 Docker 模型服务

先说最简单的用法：直接连接到一个已经在本地跑着的 LLM 容器，比如用 Ollama 启动 Mistral 模型：