虎斑小兔子-优快云博客

原创 SpringAI RAG核心Advisor 组件

本文介绍了SpringAI框架中RAG（检索增强生成）功能的实现方法。主要内容包括：1）基础使用示例，展示如何通过QuestionAnswerAdvisor实现文档检索和回答；2）灵活组合模块化组件，包括查询转换器（对话压缩、重写、翻译）、多查询扩展器、文档检索器、文档合并器等；3）高级功能如文档后处理和RetrievalAugmentationAdvisor的整合使用。文章详细演示了各种组件的配置方法、使用场景和效果输出，帮助开发者快速掌握SpringAI的RAG功能实现。所有示例代码均基于SpringB

2026-01-26 21:11:33 928

原创 SpringAI 使用OpenAI连接xinference

本文介绍了如何在本地使用Xinference部署SpringAI模型。主要内容包括：1) Xinference安装方法；2) 基础对话模型的配置与使用（支持流式对话和多模态图片识别）；3) 向量模型的配置与调用；4) 重排序模型的实现方案（使用bge-reranker-v2-m3模型）。文章提供了详细的代码示例，包括HTTP/1.1协议强制配置、模型API调用等关键实现，并展示了重排序功能的具体应用场景和效果评估。

2026-01-25 10:55:16 1184

原创 SpringAI RAG之ELT

RAG（检索增强生成）是借助向量模型将文本转化为语义向量并检索外部知识库信息，以此辅助大模型生成更准确、有依据回答的技术方案。提取、转换和加载（ETL）框架是检索增强生成（RAG）应用场景中数据处理的骨干。ETL流水线协调从原始数据源到结构化向量存储的流程，确保数据格式为AI模型检索的最佳格式。

2026-01-24 15:42:56 1222

原创 xinference 安装

XorbitsInference（Xinference）是一个开源AI模型推理平台，支持本地化部署LLM、嵌入模型和多模态模型。提供两种部署方式：1）pip安装方式，需配置Python虚拟环境、CUDA和HuggingFace镜像源；2）Docker部署，支持CPU/GPU版本，可通过环境变量配置模型源和数据目录。还支持简单集群部署，包含管理节点和工作节点。部署完成后可通过Web界面（默认端口9997）访问服务。该方案解决了ollama不支持重排序模型的问题，适合本地AI应用开发。

2026-01-23 21:38:57 740

原创 ubuntu docker

本文详细介绍了在Ubuntu系统上安装配置Docker及GPU支持的全过程。主要内容包括：1）卸载旧版并安装最新Docker，配置镜像源；2）通过jq工具测试镜像源可用性；3）配置NVIDIA容器工具包实现GPU支持；4）提供常用Docker命令，涵盖镜像管理、容器操作、日志查看等。文章还包含GPU容器验证方法和一键清理系统资源的实用命令，为深度学习等GPU应用提供了完整的Docker环境搭建指南。

2026-01-22 22:37:29 338

原创 SpringAI之MCP 服务端

本文介绍了三种基于SpringAI的MCP服务端实现方案：1）Stdio服务端（调用高德API查询天气），2）SSE服务端（使用百度翻译API），3）Streamable HTTP服务端（邮件发送和联网搜索）。每种方案都详细说明了项目创建、依赖配置、工具类实现和测试方法，并提供了对应的官方文档和API参考链接。文中还特别介绍了如何使用CherryStudio进行工具测试，以及通过Docker部署SearXNG实现联网搜索功能。这些示例展示了SpringAI在构建AI工具集成方面的灵活性和实用性。

2026-01-21 21:57:02 1522

原创 Ubuntu GPU 配置

本文介绍了在WinWSL Ubuntu24子系统上配置NVIDIA显卡环境的完整流程。首先通过官方驱动查找工具安装对应显卡驱动，使用nvidia-smi验证安装。接着按照NVIDIA官方文档，通过本地安装方式配置CUDA 12.9工具包，包括安装gcc/g++编译器、下载安装包、设置环境变量等步骤。最后创建Python虚拟环境，安装支持CUDA 12.9的PyTorch，并通过Python脚本验证CUDA可用性和显卡信息。整个过程涵盖了从驱动安装到深度学习框架配置的关键步骤。

2026-01-20 21:29:34 226

原创 python ubuntu

本文介绍了Python环境配置和AI模型下载的实用指南。首先详细说明了Python 3.10和3.12版本的安装方法，以及pip国内镜像源的设置（包括清华、阿里云等常用源）。其次介绍了uv工具的使用，包括虚拟环境管理、依赖安装、配置设置等命令。最后提供了从ModelScope和HuggingFace下载AI模型的具体步骤，包括Qwen3-0.6B模型的下载方法，并给出了设置国内镜像源的建议。全文涵盖了从Python环境搭建到AI模型获取的完整流程，适合开发者快速配置开发环境。

2026-01-20 21:23:37 103

原创 SpringAI 之 MCP客户端

摘要：MCP（Model Context Protocol）是一套标准化协议，用于规范大语言模型与外部工具/数据资源之间的交互。它提供三种调用方式：STDIO（本地双向通信）、HTTP/SSE（远程单向流式推送）和StreamableHTTP（远程双向流式传输）。文章详细介绍了每种方式的配置方法（包括依赖导入、环境设置和代码示例），并展示了如何通过SpringAI集成MCP实现文件操作、天气查询和IP定位等实际应用场景。MCP的核心价值在于屏蔽工具异构性、保障上下文联动和简化集成成本。

2026-01-19 21:00:24 1096

原创 Ollama 安装

Ollama是一个开源轻量级框架，支持在本地设备上快速部署和运行大型语言模型（LLM）。支持Windows和Linux系统安装：Windows直接下载安装包；Linux需通过指定目录安装并配置systemd服务。主要功能包括模型下载（pull）、查看（ls/ps）、运行（run）和管理（stop）。支持自定义配置如监听端口、上下文长度、模型存储路径等环境变量。通过创建软链接或配置环境变量即可使用ollama命令，无需依赖云端服务。

2026-01-19 14:02:00 3275

原创 Spring AI Tools工具

SpringAI Tools扩展LLM能力实现外部功能调用摘要： SpringAI Tools是基于MCP协议封装的工具组件，用于扩展LLM的能力边界。通过@Tool和@ToolParam注解可快速定义工具方法，如获取当前时间、设置闹钟等功能。MethodToolCallback支持将现有方法转换为LLM可调用的工具，通过反射机制实现服务方法的注册调用。此外，开发者可通过自定义ToolCallingManager实现工具调用的精细控制，包括多轮对话上下文管理、工具执行流程定制等。

2026-01-04 17:28:49 1361

原创 SpringAI聊天记忆ChatMemory

本文介绍了SpringAI中实现多轮对话记忆存储的三种方式：内存存储、MySQL存储和Redis存储。重点分析了chat-memory组件的核心作用，即通过存储对话历史解决大语言模型无状态问题。文章详细展示了每种存储方式的配置步骤和使用示例，包括依赖导入、Bean配置和代码实现。特别对比了PromptChatMemoryAdvisor和MessageChatMemoryAdvisor两种拦截器的区别，并指出后者可能存在的兼容性问题。针对MySQL存储方案，还提出了自定义增强器保存完整历史记录的建议。

2026-01-03 12:22:03 2187

原创 SpringAI增强组件Advisor

摘要 SpringAIAdvisor是基于AOP设计的对话增强组件，通过无侵入式方式在大语言模型对话生命周期中插入横切逻辑，实现请求预处理、响应后处理和异常处理等功能。核心特性包括：1）请求前增强（Prompt优化、参数校验等）；2）响应后增强（结果清洗、格式转换等）。文章介绍了SimpleLoggerAdvisor日志记录器的配置与使用，以及ReReadingAdvisor自定义拦截器的实现示例，后者可重写Prompt和格式化响应数据（如将MD转为JSON）。这些Advisor通过ChatClient的a

2026-01-02 20:39:13 1035

原创 SpringAI使用ChatClient

Spring AI ChatClient 是一个高层级、易用的聊天交互客户端抽象，简化了与大语言模型（LLM）的交互开发。它提供统一接口屏蔽不同模型的API差异，支持流畅式编程和声明式调用，内置消息模板化、多轮对话管理等便捷功能，并能无缝集成Spring生态。通过配置文件和注解即可快速切换底层模型，适用于构建聊天机器人等场景。示例展示了基础调用、流式响应和多模态识别功能，支持自定义系统提示词和用户提示词，体现了其易用性和灵活性。

2026-01-02 20:00:00 897

原创 SpringAI连接阿里百炼平台

阿里云百炼平台集成指南本文介绍了阿里云百炼一站式大模型开发平台的集成方法。主要内容包括：1）百炼平台概述，提供通义千问及第三方模型API；2）Spring AI Alibaba依赖配置（JDK17+）；3）API密钥环境变量设置及Bean配置；4）核心功能实现代码示例，包括对话、流式对话、多模态图片识别等接口；5）配套测试页面HTML代码，支持普通/流式对话、自定义参数及文件上传功能。开发者可通过文中提供的文档链接和代码示例快速接入百炼平台的大模型能力。

2026-01-01 21:00:00 825

原创 SpringAI使用OpenAI连接vllm

vLLM安装与使用指南本文详细介绍了vLLM的安装和使用流程。vLLM是一个高效易用的LLM推理和服务库，支持GPU/TPU/CPU运行。安装步骤包括：配置NVIDIA驱动、CUDA 12.9环境，使用uv工具创建Python虚拟环境，通过uvpip安装vLLM。文章提供了从魔搭社区和HuggingFace下载模型的两种方式，并给出了运行文本模型和多模态模型的命令行参数说明。最后演示了如何通过Spring AI框架连接vLLM的OpenAI兼容接口，包括基础对话、流式对话和多模态图片识别功能的实现方法，并

2025-12-31 20:04:53 941

weixin_45948519的博客