「Java AI实战」LangChain4J接入Xinference本地大模型

原创 2025-12-12 08:57:08 1.7k 阅读 AI写同款

收录于

AI Java服务化

TA zhao

码龄7年墨衍会员 · AI 创作全网分发

58粉丝16篇原创

关注

在本地运行大模型：使用Xinference与LangChain无缝集成 Xinference提供了在本地设备上运行大型AI模型的可能性，同时与LangChain的无缝集成使得模型的调用与管理变得更加便捷。Xinference官方文档LangChain官方指南。阅读详情

AI摘要

本文介绍了如何使用LangChain4J在Java环境中接入Xinference本地大模型，涵盖pom依赖配置、模型启动、application.properties参数设置及OpenAI兼容接口路径注意事项，帮助Java开发者快速构建LLM应用。

系列文章目录

第一章「Java AI实战」LangChain4J - 接入Xinference本地大模型
 第二章「Java AI实战」LangChain4J - ChatAPI 及常用配置
 第三章「Java AI实战」LangChain4J - 向量数据库接入与语义检索
 第四章「Java AI实战」LangChain4J - Agent智能体开发
 第五章「Java AI实战」LangChain4J - 记忆缓存
 第六章「Java AI实战」LangChain4J - 文本分类器实践
 第七章「Java AI实战」LangChain4J - 多 Agent 智能体协作

文章目录

系列文章目录
前言
一、简介
- 🚀 LangChain4J 是什么？
- 🚀 为什么使用LangChain4J ?
二、使用步骤
三、总结

前言

随着大语言模型（LLM）的持续火热，LangChain 成为构建智能应用的事实标准。而对于 Java 开发者而言，LangChain4J 则是一把通往 AI 应用开发的新钥匙。它不仅封装了与 OpenAI、HuggingFace、Baidu、Azure 等模型服务的接入能力，更提供了类似 LangChain 的链式调用编排、上下文管理、Agent 机制、工具集成等核心功能，让 Java 开发者也能便捷地构建问答系统、RAG 应用、多轮对话、智能代理等 LLM 应用。

本系列将逐步了解 LangChain4J 的核心模块与实际用法，从基础组件到复杂链路，通过代码示例与项目实战，在 Java 的世界里轻松驾驭大模型，开启智能应用开发的新纪元。本文主要先介绍相关的基础内容。

一、简介

🚀 LangChain4J 是什么？

简介：LangChain4J 是一个专为 Java 开发者打造的开源框架，致力于将大语言模型（LLM）的强大能力以链式结构集成到 Java 应用中。它是 LangChain 在 Java 世界的“平行宇宙”，通过统一的接口封装，支持主流模型平台（如 OpenAI、Azure、HuggingFace、百度文心一言、Ollama、LocalAI 等），并提供对 Prompt 模板、Agent 智能体、多轮对话、记忆管理（Memory）、工具调用（Tool Calling）等核心能力的支持。

LangChain4J 的设计理念是：让 Java 开发者像使用标准库一样优雅地构建智能应用，不再受限于 Python 生态。

核心特性

✅ 多模型兼容（OpenAI / Claude / 文心 / Ollama 等）

🧩 支持 Prompt 模板、Chain 编排、上下文管理

🧠 内置 Memory 模块，支持多轮对话

🕹️ Agent 智能体 + Tool 插件机制

⚙️ 与 Spring Boot 无缝集成

🌍 支持 RAG（检索增强生成）场景构建

📦 Maven 依赖简单、API 易于使用

🚀 为什么使用LangChain4J ?

LangChain4J 是 LangChain 框架的 Java 语言实现，它的核心价值在于：将大模型能力嵌入到 Java 系统中，构建真正实用的“智能体”与“智能服务”。

1. Java生态兼容好，适合企业场景

大多数企业系统后端还是 Java（Spring Boot / JEE）
LangChain4J 可以无缝嵌入 Java 服务，比如银行、政务、金融系统

2. 支持复杂链式调用和流程编排

类似流程引擎，但围绕大模型的智能推理展开
可以组合：LLM + 工具调用 + 数据查询 + 外部API + 状态判断等

3. 可以打通数据库、微服务、搜索系统等

嵌入 RAG 检索系统
与业务系统双向通讯，实现 AI 助手执行复杂任务

4. 支持Agent、工具函数调用、上下文缓存等先进能力

真正将“调用AI”变成“调用一个有智能的组件”，具备记忆和操作力

二、使用步骤

1.pom依赖

LangChain4j 在两个抽象层次上运行：

Low level：在此级别，可以最自由地访问所有底层组件
High level：在此级别，可以使用 AI 服务等高级 API 与 LLM 进行交互

基础pom

<dependency>
    <groupId>dev.langchain4j</groupId>
    <artifactId>langchain4j-open-ai</artifactId>
    <version>1.0.0-beta3</version>
</dependency>

如果需要使用高级 AI 服务 API，则还需要添加以下依赖项：

<dependency>
    <groupId>dev.langchain4j</groupId>
    <artifactId>langchain4j</artifactId>
    <version>1.0.0-beta3</version>
</dependency>

在这里插入图片描述
本篇选择的pom依赖如下：

   <!--所有调用均基于 OpenAI 协议标准，实现一致的接口设计与规范LangChain4j 提供与许多 LLM 提供商的集成。每个集成都有自己的 maven 依赖项。
        最简单的开始方式是从 OpenAI 集成开始-->
   <dependency>
      <groupId>dev.langchain4j</groupId>
      <artifactId>langchain4j-open-ai-spring-boot-starter</artifactId>
   </dependency>
   <dependency>
      <groupId>dev.langchain4j</groupId>
      <artifactId>langchain4j</artifactId>
      <version>0.26.0</version> <!-- 或使用最新版本 -->
   </dependency>

2.启用模型

xinference启动对应的LLM模型。Xinference的部署和使用参考往期文章：

https://blog.youkuaiyun.com/OFFTime_we/article/details/144774407?spm=1001.2014.3001.5502

在这里插入图片描述
注意：模型ID为步骤3需要用的model-name

3.Java服务配置文件 - application.properties

server.port=9001

spring.application.name=langchain4j
langchain4j.open-ai.chat-model.api-key=application-11111
langchain4j.open-ai.chat-model.model-name=qwen1.5-chat
langchain4j.open-ai.chat-model.base-url=http://ip:9997/v1

注意：

Xinference 实际不校验 key，但不能是 null，随便给个非空值或用环境变量
model-name并非是模型的名称，而且模型的id，一般由模型的名称+类型构成。取值为步骤二中的id.
dify等AI应用开发平台对接xinference，baseUrl一般为http://ip:9997，而 OpenAiChatModel（底层 openai4j）会在这个 baseUrl 后面自己拼上chat/completions，也就是说实际请求的地址是：http://ip:9997/chat/completions
但 Xinference 的 OpenAI 兼容接口长这样：
基础地址：http://ip:9997/v1
聊天接口：http://ip:9997/v1/chat/completions。所以相对于AI应用开发平台对接，langchain4j对接路径上需要加个：/v1

测试代码：

@RestController
@Slf4j
public class HelloLangChain4JController {

    @Resource
    private ChatLanguageModel chatLanguageModel;

    @GetMapping(value = "/langchain4j/hello")
    public String hello(@RequestParam(value = "prompt", defaultValue = "你是谁") String prompt) {
        String result = chatLanguageModel.generate(prompt);
        System.out.println("通过langchain4j调用模型返回结果：\n"+result);
        return result;
    }



    @GetMapping(value = "/langchain4j/hello2")
    public String hello2() {
        String result = chatLanguageModel.generate("你好，我爱吃西瓜");
        String result2 = chatLanguageModel.generate("我爱吃什么");
        System.out.println("11111\n"+result);
        System.out.println("2222\n"+result2);
        return result;
    }
}