Spring AI 接入OpenAI实现同步和流式对话-优快云博客

本文链接：https://blog.youkuaiyun.com/python1222_/article/details/140873662

# [01]. Spring AI 它带来了什么？对 Spring AI有一个整体的了解和认识，本文将详细介绍接入OpenAI前准备，接入过程以及展示接入成果。

接入前准备

第一，准备OpenAI API Key，如果你可以科学上网，可以在 OpenAI 官方网站上获取 OpenAI API Key。

第二，如果不能科学上网，我们可以通过一些代理商获取OpenAI API Key，以下三个都可以获取到OpenAI API Key

这三个代理大家自行选择，这里我不做任何评价，大家可以都使用一下，从价格、稳定性等几个方面选择最适合自己的代理，下面我就以第一个代理为例说明使用过程：

第一步：使用手机号注册账号，注册完成执行第二步

第二步：gpt.zhizengzeng.com/#/login 登录系统，登录进去系统执行第三步

第三步：点击添加应用按钮，添加一个应用。【列表展示默认应用是我已经添加过的】 默认会送7000左右个tokens免费使用

第四步：我们就获取到了OpenAI API Key，下面就可以演示 Spring AI 如何接入 OpenAI

接入Open AI

创建项目

首先要创建一个Spring Boot项目，我们可以使用IDEA创建，也可以使用start.spring.io/ 创建。创建过程我们就不再演示，想必大家不陌生。

注意：Spring AI要求的JDK版本最低为JDK17

引入依赖

需要引入Spring AI依赖包和Spring Web依赖包

<properties>
    <maven.compiler.source>17</maven.compiler.source>
    <maven.compiler.target>17</maven.compiler.target>
    <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
    <spring-ai.version>1.0.0-SNAPSHOT</spring-ai.version>
</properties>

<dependencies>
    <!--Spring Web 依赖包-->
    <dependency>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-web</artifactId>
    </dependency>
    <!--Spring openAI 依赖包-->
    <dependency>
        <groupId>org.springframework.ai</groupId>
        <artifactId>spring-ai-openai-spring-boot-starter</artifactId>
    </dependency>
</dependencies>

<dependencyManagement>
    <dependencies>
        <dependency>
            <groupId>org.springframework.ai</groupId>
            <artifactId>spring-ai-bom</artifactId>
            <version>${spring-ai.version}</version>
            <type>pom</type>
            <scope>import</scope>
        </dependency>
    </dependencies>
</dependencyManagement>

application.yml

如上图所示，可以获取到api-key和base-url，直接配置在yaml文件中

spring:
  ai:
    openai:
      api-key: xxxx
      base-url: xxxx

代码实现

package com.ivy.controller;

import org.springframework.ai.openai.OpenAiChatModel;
import org.springframework.http.MediaType;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.RestController;
import reactor.core.publisher.Flux;

@RestController
public class ChatController {

    private final OpenAiChatModel openAiChatModel;

    public ChatController(OpenAiChatModel openAiChatModel) {
        this.openAiChatModel = openAiChatModel;
    }

    /**
     * 同步方式实现聊天功能
     *
     * @param prompt 提示词
     * @return 聊天结果
     */
    @GetMapping("/chat")
    public String chat(String prompt) {
        return openAiChatModel.call(prompt);
    }

    /***
     * 流式方式实现聊天功能
     * @param prompt 提示词
     * @return 聊天结果流
     */
    @GetMapping(value = "/stream", produces = MediaType.TEXT_EVENT_STREAM_VALUE)
    public Flux<String> stream(String prompt) {
        return openAiChatModel.stream(prompt);
    }
}

在ChatController中实现了如下两种方式；

chat()：同步方式实现对话，一次性返回结果，当网络阻塞、输入文本以及返回文本较大时，返回比较慢，用户体验极差，在对话式应用中一般不采用此种方式。
stream()：流式方式实现对话，多次返回结果，像打字一样将结果依次展示。对于对话式的应用场景，主流的调用方式基本采用的是流式对话。

Spring AI中流式对话接口采用的是Spring WebFlux异步网络框架实现的，WebFlux底层默认采用Netty，因此，如果需要了解Spring AI流式对话底层的实现，则需要对异步网络编程有一定的了解。最好能对WebFlux的使用、Flux、Mono等概念了解，当然对于简单的调用并没有什么影响。

测试结果

启动Spring Boot项目，然后使用Postman进行接口测试

经过测试成功返回了结果，说明已经完成了使用Spring AI 接入 OpenAI 大模型。

下面我们在测试一下流式的方式

至此我们就完成了Spring AI 接入 OpenAI 大模型。您是不是感觉是如此的So easy！这都归功于Spring AI 将大模型的接入进行了抽象，完成了复杂接入流程的屏蔽。

虽然接入简单，但是如果想用好大模型还是有一定的难度的，比如怎么使用提示词工程激发大模型的能力，让回答更准确，如何给大模型执行一个角色以及如何让大模型具有上下文记忆能力等等。后续文章我们一一进行分析实践，敬请期待。

Spring AI 支持的大模型

支持的大模型以及需要引入的依赖包，大家根据需求自行进行选择所需要的大模型，实现对话功能。

使用 Ollama，您可以在本地运行各种大型语言模型（LLMs）并从中生成文本。Spring AI 支持使用 OllamaChatModel Ollama 文本生成。

Amazon Bedrock

Amazon Bedrock 是一项托管服务，可通过统一的 API 提供来自各种 AI 提供商的基础模型。其支持多种大模型，比如托管 Anthropic 3、Anthropic 2、Llama、Cohere、Titan 和 Jurassic-2

HuggingFace Chat

Huggingface是一个自然语言处理(NLP)领域的开源软件库和平台。它提供了丰富的预训练模型和工具,用于文本生成、文本分类、问答系统等多个NLP任务。通过Huggingface平台，开发者可以快速的搭建和训练自己的模型。

清华智普大模型ChatGLB

watsonx.ai Chat

使用 watsonx.ai，您可以在本地运行各种大型语言模型（LLMs）并从中生成文本。Spring AI 支持使用 watsonx.ai WatsonxAiChatModel 文本生成。

MiniMax Chat

MiniMax Chat 是一种基于Minimax算法的对话系统，它通常用于游戏和决策场景中。

示例代码

github.com/fangjieDevp…

总结

本篇文章主要讲解OpenAI Key的获取方法，并实践了如何快速接入OpenAI大模型完成同步和流式对话功能，Spring AI框架目前已经支持多种大模型的接入，比如微软的Azure OpenAI，清华智普ChatGLB等。大家可以根据自己的需求进行选择大模型。

后续文章我们会继续以OpenAI大模型为基础完成相关功能的实践，主要从以下几个方面进行；

Spring AI 框架使用到的一些AI概念，让大家更深入理解Spring AI框架的实现原理
Spring AI 实现聊天上下文记忆能力，并对其实现源码进行分析
Spring AI 实现聊天机器人的人设（角色）定义，并讲解其实现原理
Spring AI 提示词模版实现原理，并提供两个简单示例
Spring AI 大模型返回格式化输出，并分析其源码实现
Spring AI 实现朴素RAG，并分析其实现原理
Spring AI 支持的向量数据的简单接入，并挑选一个向量数据的安装和基本使用

如果您对Spring AI感兴趣，来一个点赞、收藏+关注，一起进步与成长！！

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述