【SpringAI】4.多模态提问

原创

已于 2025-07-01 00:13:09 修改 · 450 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#springai #多模态

于 2025-06-30 20:41:22 首次发布

SpringAI多模态提问

概述

SpringAI支持多模态输入，允许AI模型同时处理文本和图像内容。这对于需要视觉理解的AI应用场景非常有用，如图像描述、视觉问答、图像分析等。
在这里插入图片描述

核心概念

1. Media类

SpringAI使用Media类来表示多模态内容，支持图像、音频、视频等多种媒体类型。

2. UserMessage构建器

通过UserMessage.builder()可以构建包含媒体内容的消息，支持同时传递文本和媒体文件。

关键代码实现

1. 多模态消息构建

@PostMapping(value = "/generateStreamWithFile", consumes = "application/json", produces = "text/event-stream;charset=UTF-8")
public Flux<FluxVO> generateStreamWithFile(@RequestBody QuestionVO body) {
   
   
    String model = body.getModel();
    
    // 1. 将Base64编码的图像转换为Media对象
    List<Media