粘贴可运行：Java调用大模型(LLM) 流式Flux stream 输出；基于spring ai alibaba

最新推荐文章于 2025-04-14 17:20:01 发布
最新推荐文章于 2025-04-14 17:20:01 发布
阅读量2.3k 收藏 31
点赞数 21
文章标签： java spring 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/m0_74823317/article/details/144344384
版权

在Java中，使用Spring AI Alibaba框架调用国产大模型通义千问，实现流式输出，是一种高效的方式。通过Spring AI Alibaba，开发者可以轻松地集成通义千问模型，并利用其流式处理能力，实时获取模型生成的文本。这种流式输出方式，使得模型能够持续不断地生成文本，直到达到指定的长度或满足特定的条件。通过这种方式，开发者可以更灵活地处理模型生成的文本，提高应用程序的响应速度和用户体验。

本例子使用spring ai alibaba + QWen千问api 完成，你可以跑通以后换自己的实现。

QWen 目前 有100万免费Token额度，可以快速实现需求。同时，因为qwen 也是个开源的模型，我们可以自己搭建模型来实现免费使用

Spring AI概述

在当前Java调用大模型时，缺乏优秀的AI应用框架是一个显著的问题。Spring作为老牌的Java应用框架厂商，提出了Spring AI以解决这一问题。它参考了langchain的核心理念，并结合了Java面向对象编程的优势，为开发者提供了统一且灵活的接口来与不同的大模型交互。这种设计使得用户能够轻松切换底层实现，同时享受到由专门团队维护的好处。本次样例将演示如何使用Spring AI Alibaba接入通义大模型，但请记住，一旦掌握了基本配置方法，您也可以方便地更换为自己所需的其他Java大模型实现。

最低0.47元/天 解锁文章
m0_74823317
关注
浅谈人工智能之大模型的流式调用：Java 后端实践
测试人，测试魂
10-08 1823
在现代AI应用中，大模型（如阿里云的Qwen、百度的ERNIE等）因其强大的语义理解和生成能力而备受关注。然而，这些模型往往伴随着庞大的计算资源消耗，尤其是对于长时间的对话或大规模文本生成任务。为了解决这一问题，流式调用技术应运而生，它允许开发者以流的方式与模型交互，从而实现实时响应和高效资源管理。本文将详细介绍如何在Java后端中实现大模型的流式调用。
JAVA流式调用大模型
weixin_48588894的博客
06-05 1621
java使用Http流式调用大模型
java接口实现流式输出--大模型接口
最新发布
爱码代码的小马
04-14 234
【代码】java接口实现流式输出--大模型接口。
用【Java】调用百度千帆大模型并提供流式接口【SSE】响应
小帅丶的专栏
02-01 5001
用【Java】调用百度千帆大模型并提供流式接口【SSE】响应
java 千帆大模型 流式返回
weixin_47785112的博客
01-05 2287
java 千帆大模型 流式返回
Java实现ChatGpt根据SseEmitter流式输出
时光的博客
08-16 2763
在工作中基于使用大模型需要进行流式输出效果，公司客服助手需要接入大模型，并传参prompt给大模型参考知识，由大模型根据理解进行答案润色，润色后的结果进行流式输出。
Java SpringBoot调用大模型AI构建AI应用
whisperzzza的博客
11-01 5045
Spring AI Alibaba是Spring AI的一个实现，它基于Spring AI的API完成了阿里云百炼系列云产品的大模型接入。与Spring Cloud Alibaba一样，Spring AI Alibaba整合了阿里巴巴的最佳实践，是国内最好的Spring AI实现之一。Spring AI Alibaba提供了一系列强大的功能和能力，包括但不限于模型调用、Prompt模板、RAG（检索增强生成）、文生图以及图像识别等。
Java调用大模型 - Spring AI 初体验
whisperzzza的博客
10-22 2132
通过使用Spring AI Alibaba，开发者可以轻松地将这些高级AI功能整合进自己的项目中，同时利用Spring框架的优势（如模块化设计）提高代码的可维护性和移植性。它借鉴了LangChain的核心理念，并结合了Java面向对象编程的优势，提供统一接口标准、支持随时替换不同的大模型实现（如OpenAI、阿里云等），并由专门团队持续维护。Spring AI Alibaba 是应对这一挑战的理想选择，因为它不仅拥有强大的内容安全保障能力，还集成了阿里云的最佳实践和Qwen-2.5模型。
Java调用本地部署的大模型（如Qwen2-7B-Instruct）进行大模型AI服务的开发和应用
人工智能(AI)技术，大模型技术，深度学习，机器学习，计算机视觉，AI工具实践应用等分享
12-18 2408
Java调用本地部署的大模型（如Qwen2-7B-Instruct）进行大模型AI服务的开发和应用
dify+vue+java接入大模型流式输出
lz610756247的专栏
03-27 1944
接口风格应该都是openAI。
Java springboot 调用 实时调用大模型响应接口详细教程
qq_42325293的博客
11-22 690
Spring WebFlux 是 Spring 5 引入的一种响应式编程模型，支持非阻塞的 HTTP 请求处理，与 Spring MVC 不同，它基于 Reactor 库，支持异步流操作。本教程将详细讲解如何在 Spring Boot 项目中集成 WebFlux。
使用Java调用千帆大模型接口
zmbwcx的博客
10-15 5829
原本是想实现调用ChatGPT接口，但是能力有限，没办法搞到ChatGPT的apiKey。于是就想着实现文心一言（来自于百度的千帆大模型）的接口。如果是需要实现对话的功能，调用该接口是需要付费的。具体付费规则如下刚注册的账号存在一个20元的代金卷，可以使用代金券练手。如果没有代金券而且不想开通就想测试调用接口的功能的话，存在一个免费试用的接口。Prompt模板。接下来我分别实现就实现一下调用Prompt模板的功能与调用对话接口的功能。
浅谈人工智能之Java调用基于Ollama本地大模型
测试人，测试魂
09-18 7594
通过上述步骤，你可以在Java应用程序中无缝集成基于Ollama的本地大型语言模型，为你的项目增添强大的自然语言处理能力。随着Ollama及其支持的模型不断更新，持续探索和优化模型调用策略，将能进一步提升应用性能和用户体验。
spring ai 教学 - 流式(stream)返回结果，基于springboot FLUX和国产大模型
whisperzzza的博客
11-05 5706
本问主要介绍了如何能够在最短的代码里面实现能够直接与前端接驳的Flux流返回接口。 Flux流返回可以适应大部分市面上主流的LLM前端框架的需求。 例子使用 spring ai alibaba + 通义千问Qwen api实现，qwen有100万免费Token额度，可以快速实现需求。同时，因为qwen 也是个开源的模型，我们可以自己搭建模型来实现免费使用
飞速接入大模型，实现流式调用接口
m0_57334678的博客
10-14 2434
在当今技术飞速发展的时代，大模型（Large Language Models, LLMs）已经成为热门话题，应用场景涵盖了自然语言处理、图像生成、智能客服等各个领域。特别是像GPT这样的生成式AI模型，正被越来越多的企业引入到自己的业务系统中。然而，面对如此庞大的模型和复杂的请求，如何实现实时、流式地获取模型响应成为了一个关键问题。本文将向大家介绍如何通过流式调用接口技术，将大模型的能力快速接入到现有的系统中，实现实时返回的效果。我们将结合和WebFlux。
如何在Java中运用AI大模型
weixin_46229190的博客
10-24 2072
在Java中运用AI大模型通常涉及多个步骤，包括环境配置、模型选择、模型加载、数据预处理、模型推理以及结果处理等。
如何实现流式输出
m0_74676329的博客
03-06 1515
实现流式输出（Streaming Output）是指将数据分块逐步发送给客户端，而不是一次性发送所有数据。这种方式特别适合处理大文件、实时数据或需要逐步展示的场景（如语音、视频、日志等）。
项目后端——调用API实现调用大模型功能并向前端返回输出
2201_75499442的博客
06-24 1200
Hutool 是一个小而全的 Java 工具类库，通过封装 JDK 中现有的工具方法，提供了更加简洁、易用、功能强大的工具方法。Hutool 旨在通过提供一套简单、快速的 Java 工具类，帮助开发者提高开发效率，减少代码冗余。只需要注意将对应的content传入chat函数即可。二、服务使用接口设置。
java实现大模型调用 流式输出
03-27
### Java 调用大模型 API 实现流式输出 在现代应用开发中，通过 Java 实现对大模型的流式调用是一种常见的需求。这种场景下可以利用 Spring WebFlux 和 `Server-Sent Events` 技术来完成高效的实时通信[^3]。 以下是基于 Spring Boot 的一个完整示例代码，用于演示如何实现流式调用并返回结果： #### 后端实现（Spring Boot） ```java import org.springframework.http.MediaType; import org.springframework.web.bind.annotation.GetMapping; import org.springframework.web.bind.annotation.RequestParam; import org.springframework.web.bind.annotation.RestController; @RestController public class StreamController { @GetMapping(value = "/api/ai/stream-chat", produces = MediaType.TEXT_EVENT_STREAM_VALUE) public Flux<String> streamChat(@RequestParam String message) { // 模拟异步处理逻辑 return Flux.interval(Duration.ofMillis(500)) .take(10) .map(i -> "data: This is chunk " + i + "\n\n"); } } ``` 上述代码展示了如何创建一个支持 SSE（Server-Sent Events）的 RESTful 接口 `/api/ai/stream-chat`，它会每隔 500ms 返回一段数据直到达到指定次数[^2]。 如果需要实际对接大模型 API，则可以通过 WebClient 发起 HTTP 请求，并将接收到的数据逐块传递给客户端： ```java import reactor.core.publisher.Flux; import java.time.Duration; @RestController public class AiStreamController { private final WebClient webClient; public AiStreamController(WebClient.Builder builder) { this.webClient = builder.baseUrl("https://apis.ydxiaoshuai.cn/xai/rest/llm/baidu/qianfan/chat") .build(); } @GetMapping(value = "/stream-llm", produces = MediaType.TEXT_EVENT_STREAM_VALUE) public Flux<String> streamLlm(@RequestParam String prompt, @RequestParam String accessToken) { return webClient.get() .uri(uriBuilder -> uriBuilder.queryParam("accessToken", accessToken) .queryParam("prompt", prompt).build()) .accept(MediaType.APPLICATION_JSON) .retrieve() .bodyToFlux(String.class); } } ``` 此部分实现了从外部 API 获取流式数据的功能[^4]。 #### 前端实现（UniApp 或其他框架） 对于前端而言，可采用标准的 JavaScript `EventSource` 对象监听服务器发送事件。以下是一个简单的 UniApp 集成案例: ```javascript startStreamChat() { this.answer = ''; const eventSource = new EventSource( 'http://localhost:8080/api/ai/stream-chat?message=' + encodeURIComponent(this.inputMessage) ); eventSource.onmessage = (event) => { try { const data = JSON.parse(event.data); if (data && data.result) { this.answer += data.result; } } catch (e) { console.warn('Invalid JSON received', e); } }; eventSource.onerror = () => { console.error('Connection to server failed.'); eventSource.close(); }; } ``` 以上脚本负责连接至后端服务并将逐步接收的内容拼接到最终答案上。 --- ### 总结 整个流程涉及前后端协作：后端借助 Reactor 类型库管理异步操作；而前端则依赖于浏览器原生的支持机制解析来自后台的消息推送。这样既满足了低延迟交互的需求又保持了良好的用户体验。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值