聊聊Spring AI的Multimodality

Spring AI的Multimodality研究
最新推荐文章于 2025-11-02 10:40:17 发布
原创 最新推荐文章于 2025-11-02 10:40:17 发布 · 534 阅读 · 4 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#spring #人工智能 #python

序

本文主要研究一下Spring AI的Multimodality

示例

chatModel示例

var imageResource = new ClassPathResource("/multimodal.test.png");

var userMessage = new UserMessage(
	"Explain what do you see in this picture?", // content
	new Media(MimeTypeUtils.IMAGE_PNG, this.imageResource)); // media

ChatResponse response = chatModel.call(new Prompt(this.userMessage));

chatClient示例

String response = ChatClient.create(chatModel).prompt()
		.user(u -> u.text("Explain what do you see on this picture?")
				    .media(MimeTypeUtils.IMAGE_PNG, new ClassPathResource("/multimodal.test.png")))
		.call()
		.content();

目前是如下几种模型支持多模态

  • Anthropic Claude 3
  • AWS Bedrock Converse
  • Azure Open AI (e.g. GPT-4o models)
  • Mistral AI (e.g. Mistral Pixtral models)
  • Ollama (e.g. LLaVA, BakLLaVA, Llama3.2 models)
  • OpenAI (e.g. GPT-4 and GPT-4o models)
  • Vertex AI Gemini (e.g. gemini-1.5-pro-001, gemini-1.5-flash-001 models)

源码

UserMessage

org/springframework/ai/chat/messages/UserMessage.java

public class UserMessage extends AbstractMessage implements MediaContent {

	protected final List<Media> media;

	public UserMessage(String textContent) {
		this(MessageType.USER, textContent, new ArrayList<>(), Map.of());
	}

	public UserMessage(Resource resource) {
		super(MessageType.USER, resource, Map.of());
		this.media = new ArrayList<>();
	}

	public UserMessage(String textContent, List<Media> media) {
		this(MessageType.USER, textContent, media, Map.of());
	}

	public UserMessage(String textContent, Media... media) {
		this(textContent, Arrays.asList(media));
	}

	public UserMessage(String textContent, Collection<Media> mediaList, Map<String, Object> metadata) {
		this(MessageType.USER, textContent, mediaList, metadata);
	}

	public UserMessage(MessageType messageType, String textContent, Collection<Media> media,
			Map<String, Object> metadata) {
		super(messageType, textContent, metadata);
		Assert.notNull(media, "media data must not be null");
		this.media = new ArrayList<>(media);
	}

	@Override
	public String toString() {
		return "UserMessage{" + "content='" + getText() + '\'' + ", properties=" + this.metadata + ", messageType="
				+ this.messageType + '}';
	}

	@Override
	public List<Media> getMedia() {
		return this.media;
	}

	@Override
	public String getText() {
		return this.textContent;
	}

}

UserMessage实现了MediaContent的getMedia方法

Media

org/springframework/ai/model/Media.java

public class Media {

	private static final String NAME_PREFIX = "media-";

	/**
	 * An Id of the media object, usually defined when the model returns a reference to
	 * media it has been passed.
	 */
	@Nullable
	private String id;

	private final MimeType mimeType;

	private final Object data;

	/**
	 * The name of the media object that can be referenced by the AI model.
	 * <p>
	 * Important security note: This field is vulnerable to prompt injections, as the
	 * model might inadvertently interpret it as instructions. It is recommended to
	 * specify neutral names.
	 *
	 * <p>
	 * The name must only contain:
	 * <ul>
	 * <li>Alphanumeric characters
	 * <li>Whitespace characters (no more than one in a row)
	 * <li>Hyphens
	 * <li>Parentheses
	 * <li>Square brackets
	 * </ul>
	 */
	private String name;

	//......
}

Media定义了id、mimeType、data、name属性

Format

	public static class Format {

		// -----------------
		// Document formats
		// -----------------
		/**
		 * Public constant mime type for {@code application/pdf}.
		 */
		public static final MimeType DOC_PDF = MimeType.valueOf("application/pdf");

		/**
		 * Public constant mime type for {@code text/csv}.
		 */
		public static final MimeType DOC_CSV = MimeType.valueOf("text/csv");

		/**
		 * Public constant mime type for {@code application/msword}.
		 */
		public static final MimeType DOC_DOC = MimeType.valueOf("application/msword");

		/**
		 * Public constant mime type for
		 * {@code application/vnd.openxmlformats-officedocument.wordprocessingml.document}.
		 */
		public static final MimeType DOC_DOCX = MimeType
			.valueOf("application/vnd.openxmlformats-officedocument.wordprocessingml.document");

		/**
		 * Public constant mime type for {@code application/vnd.ms-excel}.
		 */
		public static final MimeType DOC_XLS = MimeType.valueOf("application/vnd.ms-excel");

		/**
		 * Public constant mime type for
		 * {@code application/vnd.openxmlformats-officedocument.spreadsheetml.sheet}.
		 */
		public static final MimeType DOC_XLSX = MimeType
			.valueOf("application/vnd.openxmlformats-officedocument.spreadsheetml.sheet");

		/**
		 * Public constant mime type for {@code text/html}.
		 */
		public static final MimeType DOC_HTML = MimeType.valueOf("text/html");

		/**
		 * Public constant mime type for {@code text/plain}.
		 */
		public static final MimeType DOC_TXT = MimeType.valueOf("text/plain");

		/**
		 * Public constant mime type for {@code text/markdown}.
		 */
		public static final MimeType DOC_MD = MimeType.valueOf("text/markdown");

		// -----------------
		// Video Formats
		// -----------------
		/**
		 * Public constant mime type for {@code video/x-matros}.
		 */
		public static final MimeType VIDEO_MKV = MimeType.valueOf("video/x-matros");

		/**
		 * Public constant mime type for {@code video/quicktime}.
		 */
		public static final MimeType VIDEO_MOV = MimeType.valueOf("video/quicktime");

		/**
		 * Public constant mime type for {@code video/mp4}.
		 */
		public static final MimeType VIDEO_MP4 = MimeType.valueOf("video/mp4");

		/**
		 * Public constant mime type for {@code video/webm}.
		 */
		public static final MimeType VIDEO_WEBM = MimeType.valueOf("video/webm");

		/**
		 * Public constant mime type for {@code video/x-flv}.
		 */
		public static final MimeType VIDEO_FLV = MimeType.valueOf("video/x-flv");

		/**
		 * Public constant mime type for {@code video/mpeg}.
		 */
		public static final MimeType VIDEO_MPEG = MimeType.valueOf("video/mpeg");

		/**
		 * Public constant mime type for {@code video/mpeg}.
		 */
		public static final MimeType VIDEO_MPG = MimeType.valueOf("video/mpeg");

		/**
		 * Public constant mime type for {@code video/x-ms-wmv}.
		 */
		public static final MimeType VIDEO_WMV = MimeType.valueOf("video/x-ms-wmv");

		/**
		 * Public constant mime type for {@code video/3gpp}.
		 */
		public static final MimeType VIDEO_THREE_GP = MimeType.valueOf("video/3gpp");

		// -----------------
		// Image Formats
		// -----------------
		/**
		 * Public constant mime type for {@code image/png}.
		 */
		public static final MimeType IMAGE_PNG = MimeType.valueOf("image/png");

		/**
		 * Public constant mime type for {@code image/jpeg}.
		 */
		public static final MimeType IMAGE_JPEG = MimeType.valueOf("image/jpeg");

		/**
		 * Public constant mime type for {@code image/gif}.
		 */
		public static final MimeType IMAGE_GIF = MimeType.valueOf("image/gif");

		/**
		 * Public constant mime type for {@code image/webp}.
		 */
		public static final MimeType IMAGE_WEBP = MimeType.valueOf("image/webp");

	}

Format定义了常用的几种MimeType

小结

Spring AI设计了各种message类型用于支持多模态，其中UserMessage有个media属性，类型List<Media>，支持传入图像、音频、视频，MimeType用于指定是哪种类型。

doc

hello_ejb3
关注
Spring AI-13.多模态 API（Multimodality AP）
无
06-13 105
摘要 Spring AI-13多模态API支持文本、图像、音频等多种输入方式的整合处理。该功能基于消息API架构，通过UserMessage的content和media字段实现多模态输入，目前支持包括OpenAI GPT-4o、谷歌Vertex AI Gemini等主流多模态模型。开发者可以构建更自然的AI交互应用，如图像描述生成等场景。需要注意的是，当前仅用户消息支持媒体内容，且输出仍限于文本。不同模型对多模态输入的支持程度存在差异，使用时应参考具体模型文档。
Spring AI 之多模态
oscar999的专栏
05-26 805
多模态大语言模型正成为AI领域新趋势。与传统单模态模型不同，新一代模型如GPT-4o、Claude3等能并行处理文本、图像、音频和视频输入。Spring AI通过消息API实现多模态支持，允许在用户消息中嵌入多种媒体资源，并提供对主流多模态模型的支持。开发者可通过简洁API实现跨模态交互，如让模型分析图片内容并生成文本描述。这种融合处理能力使AI更接近人类的多感官认知方式，为应用开发开辟了新可能。
【SpringAI】4.多模态提问
占星安啦的博客
06-30 450
SpringAI支持多模态输入，可同时处理文本和图像内容。核心使用Media类表示媒体内容，通过UserMessage.builder()构建多模态消息。代码实现包括：将Base64图像转为Media对象，根据有无媒体选择不同消息构建方式，添加系统提示词后调用模型处理。关键注意事项：接口需为POST，注意文件大小限制和模型兼容性，图像处理性能较慢时应避免过多上下文。该功能适用于图像描述、视觉问答等场景。
Spring AI 与前端技术融合：打造网页聊天 AI 的实战指南
weixin_60159567的博客
11-16 2725
在本篇本章中你可以学到如何使用SpringAI调用大模型以及添加记忆上下文,以及Vue的自定义指令和组合式函数,还有SSE消息实时推送,实现打字机效果
Spring AI UserMessage
王小工小工历程
01-22 628
UserMessage是用户在对话系统中输入的原始消息，通常包括用户的问题、请求或指令。这些消息通过UserMessage对象进行封装和传递，以便AI能够正确地解析和回复。UserMessage对象可能包含与用户消息相关的属性和方法，如消息内容、消息类型、发送时间等。
Spring AI开发跃迁指南（第二章：急速上手6——Spring AI 多模态＜图片、语音、文本＞及完整代码演示）
Timmer的博客
05-30 469
本文介绍了Spring AI Message API如何支持多模态LLM处理文本、图像、音频等多源数据。通过UserMessage的content和media字段实现多模态输入，并给出代码示例演示图片识别功能。虽然当前文本模型无法处理图像，但展示了多模态API的基础使用方法，建议使用支持多模态的模型实现完整功能。
SpringAI实现AI应用-搭建知识库
m0_71817461的博客
04-30 2139
想要使用SpringAI搭建知识库，就要使用SpringAI中的TikaDocumentReader，它属于ETL（提取、转换、加载）框架中的提取（Extract）阶段。
Spring AI 实现调用openAi 多模态大模型
一名全栈开发工程师
06-26 1044
多模态（Multimodal）指的是数据或信息的多种表现形式。在人工智能领域，我们经常会听到这个词，尤其是在近期大型模型（如GPT-4）开始支持多模态之后。模态：模态是指数据的一种形式，例如文本、图像、音频等。每一种形式都是一种模态。多模态：多模态就是将不同模态的数据结合起来，以更全面、更丰富的方式来处理信息。比如，我们可以同时处理文本、图像、语音等多种类型的数据。举个例子，如果我想告诉你“我有一个苹果”，我可以用文字写出来，也可以用语言说出来，还可以用图片画出来。这就是相同信息的多种模态表现形式。
Spring AI（三）多模态支持（豆包）
zhuwei_clark的博客
09-11 270
所以首先选择的模型就必须支持多模态，这里用的是，豆包的模型。DeepSeek目前好像不支持。多模态大型语言模型（LLM）的特性使模型能够结合图像、音频或视频等其他模态来处理和生成文本。整体来说，只要模型支持的话，还是比较简单的。其实在现在的版本来说，还是比较简单的。
12. 深入Spring AI：多模态
有一只柴犬的专栏
11-02 380
本文介绍了多模态AI的概念及其在Spring AI中的应用。多模态指处理多种数据类型（文本、图像等）的AI系统，相比单模态能更高效地解析内容。Spring AI通过Message API支持多模态输入，使用UserMessage的media字段传入图片等媒体文件。 文章展示了三种应用示例：1）单张图片分析；2）多张图片对比；3）指出当前版本仅支持图片识别，暂不支持图片生成功能。通过具体代码演示了如何利用Spring AI实现多模态处理，包括图片内容解析和差异比较。
SpringAl实现AI应用-快速搭建
m0_71817461的博客
04-29 1589
Spring Al是Spring生态中应用于人工智能领域的应用框架，它的目标是将将Spring生态系统的设计原则(如可移植性、模块化设计)应用于AI领域，并在AI领域中推广使用POJO(Plain Old Java Objects)作为应用的构建模块。
深入解析 Spring AI 系列：解析返回参数处理
dsgdauigfs的博客
01-22 1444
在这一部分的讲解中，我们详细探讨了返回参数处理的关键要点，特别是如何封装与使用相关的字段。尽管某些信息（如metadatarateLimit等）在当前实现中未直接用到，但它们的引入是为了更好地支持未来的扩展和需求变化。通过对比不同处理方式，我们也看到不同模型接口在设计上的差异。在实际开发过程中，理解这些细节对于保证接口的扩展性和系统的稳定性至关重要。努力的小雨深入解析 Spring AI 系列：解析返回参数处理 - 努力的小雨 - 博客园。
8. 综合演练聊天面板后端实现-SpringAI实战
Gachin的博客
06-19 974
本次内容的核心是之前SpringAI内存历史消息的增强版本，即数据库历史消息MessageChatMemory
Spring AI调用通义千问模型输出流报错解决方案
unravelmc的博客
04-25 1690
Beanreturn ChatClient.builder(model) // 创建ChatClient工厂实例.defaultSystem("您是一位校园超市客户聊天助手，你的名字叫小明。请以友好、乐于助人和愉快的方式解答用户的各种问题。").defaultAdvisors(new SimpleLoggerAdvisor()) // 添加默认的Advisor,记录日志.build();// 构建ChatClient实例@Bean.build();
AI - 人工智能；Java之SpringAI（二）
web15285868498的博客
12-06 2146
此外，SpringAI支持接入多种AI服务，如OpenAI、Ollama、Azure OpenAI、Huggingface等，可以实现聊天、embedding、图片生成、语音转文字、向量数据库、function calling、prompt模板、outputparser、RAG等功能。多模态是指模型同时理解和处理来自各种来源的信息的能力，包括文本、图像、音频和其他数据格式；Spring AI是一个人工智能工程的应用框架，旨在为Java开发者提供一种更简洁的方式与AI交互，减轻在Java业务中接入。
Spring AI 第二讲 之 Chat Model API 第一节OpenAI Chat
qq_25137131的博客
06-02 3778
Spring AI 支持 OpenAI 的人工智能语言模型 ChatGPT。由于 ChatGPT 创建了业界领先的文本生成模型和嵌入，它在激发人们对人工智能驱动的文本生成的兴趣方面发挥了重要作用。
springAI框架学习总结
工匠精神coding，终生学习
05-06 4573
springAI框架是一个AI工程应用框架，其目标是将 Spring 生态系统设计原则（例如可移植性和模块化设计）应用于 AI 领域，并推广使用 POJO 作为 AI 领域应用程序的构建块。
SpringAI智能客服Function Calling兼容性问题解决方案
weixin_74224250的博客
08-01 1217
SpringAI智能客服系统在使用阿里云百炼平台时出现Function Calling兼容性问题，表现为工具输入参数被异常分片。通过源码分析发现，问题源于平台返回数据格式与OpenAI标准不一致。本文提出并实现了一个自定义兼容层解决方案，通过重写OpenAiChatModel类来合并分片参数，同时保持流式响应特性，相比简化方案更优。最终通过Spring Bean配置注册自定义模型，解决了兼容性问题。
Spring AI 快速入门
m0_74825699的博客
03-10 1436
四次工业革命推动了人类社会发展和变革第一次工业革命（18世纪60年代~19世纪中期，大约是1760年到1860年）：也称为蒸汽时代，发源于英格兰中部地区，是资本主义工业化的早期阶段；蒸汽机的发明及运用成为了这个时代的标志，因此历史学家称这个时代为“蒸汽时代”；蒸汽时代的显著特征是机械化生产和大规模生产，推动了生产力的飞跃，带来了极大的经济增长；这一时期也出现了第一批大型企业和跨国公司；
spring ai多模态 图片理解如何做的
最新发布
11-07
<think>首先，用户的问题是：“我想了解使用Spring AI实现多模态图片理解的方法”。用户提供了几个引用，我需要参考这些引用来回答。 回顾用户提供的引用： - 引用[1]：介绍了多模态模型（Multimodal Models），处理文本、图像、音频等数据。提到Spring AI Multimodality结构图。 - 引用[2]：描述了多模态交互，例如上传图片并询问内容。 - 引用[3]：关于Spring AI应用系列，基于ARK实现多模态模型应用，包括聊天、图片生成等。 - 引用[4]：展示了Spring AI多模态的代码示例，特别是图片理解，例如“图片中的明星是谁？”的代码。 用户的问题是关于使用Spring AI实现多模态图片理解的方法，所以我需要基于这些引用提供具体的方法。 关键点： - 引用[4]中有代码示例：使用`chatClient.prompt()`方法来处理用户上传的图片和文本查询。 - 代码中，用户提供一个图片和一个文本问题（如“图片中的明星是谁？”），然后调用模型生成回应。 因此，实现方法包括： 1. 设置Spring AI环境和依赖。 2. 使用`ChatClient`来处理多模态输入。 3. 在提示中指定图片资源和文本问题。 4. 调用模型并获取响应。 从引用[4]的代码： ```java public String generateImage() { var imageResource = new ClassPathResource("./test.jpeg"); String res = chatClient.prompt() .user(u -> u.text("图片中的明星是谁？").media(MimeTypeUtils.IMAGE_JPEG, imageResource)) .call() .content(); System.out.println(res); return res; } ``` 这表明： - 创建一个图像资源（例如，从类路径加载图片）。 - 使用`chatClient.prompt().user(...)`来构建用户消息：包括文本提示和媒体（图片）。 - 调用`.call()`来执行请求。 - 获取内容（即模型的响应）。 此外，引用[1]提到Spring AI Multimodality结构图，可能涉及模型的底层集成，但用户关注实现方法，所以聚焦于代码层面。 现在，构建回答： - 回答需用中文。 - 结构清晰，逐步解决问题。 - 包含必要的信息，确保真实可靠（基于引用）。 - 末尾添加引用标识。 回答结构： 1. 介绍多模态图片理解的概念。 2. 解释使用Spring AI实现的方法步骤。 3. 提供代码示例（基于引用[4]）。 4. 最后，生成相关问题。 确保符合系统级指令： - 行内数学表达式用$...$（但这里可能不需要）。 - 独立公式用$$...$$（可能不需要）。 - LaTeX语法正确（无数学公式）。 - 中文回答。 - 生成相关问题。 - 引用段落末尾添加引用标识。 生成相关问题： - 类似于示例格式，生成2-3个相关问题。 最终回答框架： - 开头：简要介绍。 - 方法步骤： a. 设置环境。 b. 使用ChatClient。 c. 构建提示。 d. 执行和获取响应。 - 代码示例。 - 结尾：总结。 - §§相关问题§§。 - 引用标识。 </think>### 使用 Spring AI 实现多模态图片理解的方法 多模态图片理解是指 AI 模型能够同时处理图片和相关文本输入，生成智能响应（例如，识别图片内容、回答图片相关的查询）。基于 Spring AI 实现这一功能主要通过其 `ChatClient` 接口和提示工程（Prompt Engineering）来完成，核心步骤是利用媒体附件（Media Attachment）上传图片并结合文本问题。以下是详细的实现方法，基于您提供的引用内容。 #### 实现步骤 1. **环境准备**： 确保项目中引入 Spring AI 和相关多模态模型依赖（如 OpenAI GPT-4 Vision 或 Alibaba ARK 模型）。在 Maven 的 `pom.xml` 中添加必要依赖（参考引用[3][^3]），例如： ```xml <dependency> <groupId>org.springframework.ai</groupId> <artifactId>spring-ai-openai-spring-boot-starter</artifactId> <version>最新版本</version> </dependency> ``` 同时配置 `application.properties` 文件，设置 API 密钥和模型端点（如 `spring.ai.openai.api-key=your-api-key`）。 2. **构建多模态提示**： 使用 `ChatClient.prompt()` 方法来组合图片和文本输入。关键点包括： - **加载图片资源**：通过 `ClassPathResource` 或其他方式获取图片文件。 - **定义用户消息**：在 `.user()` 方法中，使用 `.text()` 指定文本问题，并用 `.media()` 附加图片（指定 MIME 类型和资源）。 - 这种方法允许模型融合视觉和语言信号，实现跨模态理解[^2][^1]。 3. **调用模型并获取响应**： 执行 `.call()` 方法触发模型推理，然后通过 `.content()` 提取生成的文本响应。代码示例基于引用[4][^4]： ```java import org.springframework.core.io.ClassPathResource; import org.springframework.util.MimeTypeUtils; import org.springframework.ai.chat.ChatClient; @Service public class ImageAnalysisService { private final ChatClient chatClient; public ImageAnalysisService(ChatClient chatClient) { this.chatClient = chatClient; } public String analyzeImage(String imagePath, String question) { // 加载图片资源（例如从类路径或文件系统） var imageResource = new ClassPathResource(imagePath); // 构建提示：文本问题 + 图片附件 String response = chatClient.prompt() .user(u -> u.text(question) .media(MimeTypeUtils.IMAGE_JPEG, imageResource)) // 支持JPEG/PNG等格式 .call() .content(); return response; // 返回模型生成的描述或答案 } } ``` 4. **集成到应用**： - 在 Controller 层暴露 REST 接口（如引用[4]中的 `@GetMapping`），允许用户上传图片和问题。 - 示例：用户调用 `/ai/analyze-image?image=test.jpg&question="图片中的物体是什么？"` ，后端服务返回分析结果。 - 项目架构通常遵循分层设计（模型层、服务层、控制器层），确保可扩展性[^3]。 #### 关键注意事项 - **模型选择**：Spring AI 支持多种多模态模型（如 OpenAI 的 GPT-4 Vision 或阿里云 ARK），需在配置中指定模型端点。 - **媒体处理**： - 图片需转换为资源对象（如 `ClassPathResource` 或 `FileSystemResource`）。 - MIME 类型必须正确（如 `MimeTypeUtils.IMAGE_JPEG`），否则模型无法识别。 - **性能优化**：对于大图片，建议压缩或使用 Base64 编码以减少网络延迟[^3][^4]。 - **错误处理**：添加异常捕获（如无效图片格式或 API 超时）。 通过以上方法，Spring AI 能高效实现图片理解任务，例如识别物体、描述场景或回答复杂查询。这种多模态集成正在推动 AI 在视觉问答、内容审核等领域的应用[^1][^2]。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值