SpringAI编码实战：使用本地免费部署的大语言模型跑起来

前言

本篇博文将完全抛开网上各种教程对国外服务的依赖，全程使用免费、开源的本地大模型运行平台 Ollama 和国内优秀的 Qwen (通义千问) 模型。你不需要注册付费的API及VPN，就能在你自己的电脑上体验到大模型的神奇之处话不多说，现在咱们就在本地局域网内，用Java编码免费把大模型玩起来。并以ChatClient开始作为入门，给你一个初步的springAI实战大语言模型示例。

你将学到：

• 如何在本地安装和运行 Ollama。
• 如何在 Ollama 中下载并运行 Qwen 模型。
• 如何从零开始搭建一个 Spring Boot 项目，并集成 Spring AI。
• 如何使用 ChatClient 发送你的第一个请求。

---

本地环境准备

在使用 Spring AI 之前，我们首先需要在本地搭建一个大模型运行环境。这里我们选择 Ollama，它是一个非常方便的本地大模型运行平台。
具体也可参考之前写过的《Ollama 深度使用指南：在本地玩转大型语言模型》

准备Ollama

• 下载 Ollama： 访问 Ollama 的官方网站：https://ollama.com/download。
• 选择你的操作系统： 根据你的电脑系统（Windows、macOS、Linux），下载对应的安装包。
• 安装：
  • Windows/macOS： 双击下载的安装包，按照提示一步步完成安装。安装过程非常简单，就像安装普通软件一样。
  • Linux： 按照官网的命令行指示进行安装。

安装完成后，Ollama 会在后台默默运行，你通常不会看到一个单独的应用程序窗口，它作为一个服务在你的系统上运行。

准备 Qwen 模型

Ollama 安装好后，我们就可以通过命令行下载 Qwen 模型了。Qwen 是阿里云开源的一系列优秀大模型。

• 打开命令行/终端：

  • Windows： 按 Win + R 键，输入 cmd 或 powershell，然后回车。
  • macOS/Linux： 打开“终端”应用程序。

• 下载模型： 在命令行中输入以下命令并回车。这里我们以下载 qwen:7b 模型为例，7b 表示70亿参数，对电脑配置要求不高，适合初学者。

  ollama pull qwen:7b
  ollama run qwen:7b
  

  这个过程可能需要一些时间，因为它会从互联网上下载模型文件，文件通常比较大（几个GB）。请耐心等待下载完成。下载完成后，Ollama 服务就已经可以使用 qwen:7b 模型了！

  注意： Ollama 默认运行在 http://localhost:11434。如果你的电脑防火墙或网络设置有问题，可能需要检查。但通常情况下，安装后即可直接使用。
  
  

---

项目初始化与配置

现在本地大模型环境已经准备好了，我们来创建 Spring Boot 项目并集成 Spring AI。

创建 Spring Boot 项目

推荐使用 Spring Initializr (https://start.spring.io/) 来快速创建项目，当然如果你是idea的旗舰版用户也可以本地快速创建。

• 访问地址： 打开浏览器，访问 https://start.spring.io/
  

如上图所示：

• 项目设置：
  • Project: Maven Project (或 Gradle Project，这里我们用Maven)
  • Language: Java
  • Spring Boot: 选择最新的 3.5.3 版本，[参考官网描述，最低3.4.x]，如下图所示(https://docs.spring.io/spring-ai/reference/getting-started.html)
  • Group: com.example (可以自定义，例如 com.yourcompany)
  • Artifact: spring-ai-ollama-demo (项目名称，可以自定义)
  • Java: 选择 17 或更高版本 (建议Java 17 LTS)
• 添加依赖 (Dependencies):
  • 点击 “Add Dependencies…” 按钮
  • 搜索并添加：
    • Spring Web (可选，但通常用于构建Web应用，方便测试)
    • Lombok (可选，但非常推荐，可以大大简化Java代码)
    • Spring AI Ollama Starter (这个是关键！用于集成Ollama)
• 生成项目： 点击 “Generate” 按钮，下载项目的压缩包。
• 解压并导入IDE： 将下载的 spring-ai-ollama-demo.zip 解压到你喜欢的位置，然后使用你的Java集成开发环境 (IDE)，例如 IntelliJ IDEA 或 Eclipse，导入这个Maven项目。
  

配置pom.xml依赖

导入项目后，检查 pom.xml 文件，确保它包含了所有必要的依赖。
对于spring-ai版本选择，由于进化很快，这里咱用最新的1.0.0-M5来演示，参考如下图

pom.xml 核心配置示例如下：

    <parent>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-parent</artifactId>
        <version>3.5.3</version> <relativePath/> </parent>
    <groupId>com.example</groupId>
    <artifactId>spring-ai-ollama-demo