Spring AI与Ollama整合离线通义千问模型

背景介绍

在人工智能领域，大语言模型（LLM）的发展已经取得了显著进展，这些模型在自然语言处理、知识图谱构建和智能问答等多个方面表现出色。SpringAI 项目旨在简化包含人工智能功能的应用程序的开发，避免不必要的复杂性。该项目从著名的 Python 项目（例如 LangChain 和 LlamaIndex）中汲取灵感，但 SpringAI 并不是这些项目的直接移植。它支持所有主要模型，包括 OpenAI、Ollama、Azure OpenAI、Amazon Bedrock、Huggingface、Google VertextAI、Mistral AI 等。

本文将详细介绍如何使用SpringAI基于Ollama整合通义千问等大语言模型，离线实现AI聊天，并提供一个示例来展示其实现过程。

一、环境准备

在开始之前，需要确保开发环境满足一定的要求，包括安装 JDK、Maven 以及 Spring Boot。Ollama环境以及Qwen模型。

1. 安装 Ollama

Ollama，是一个开源的大语言模型平台，它允许用户在本地环境中运行、创建和共享大型语言模型。Ollama提供了丰富的功能和特性，使得用户可以在自己的计算机上轻松地部署和运行大型语言模型。

下载

首先，需要在本地或服务器上安装 Ollama。以下是在不同操作系统上的安装步骤：

• Windows:

  • 下载 Ollama 的 Windows 安装包并执行安装程序。

  • 配置环境变量，将 Ollama 的安装路径添加到系统的 PATH 环境变量中。

2. 配置 Ollama