第四章.干货干货！！！Langchain4j开发智能体-搭建本地RAG知识库

最新推荐文章于 2025-05-22 15:56:44 发布
置顶 最新推荐文章于 2025-05-22 15:56:44 发布
阅读量1.3k 收藏 30
点赞数 32
分类专栏： 《AI大模型专题》 文章标签： llama AI 大模型 AI人工智能 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/u014494148/article/details/146909424
版权

认识RAG原理

RAG（Retrieval-Augmented Generation）（本地知识库）是一种结合信息检索和大语言模型（LLM）的技术，目的是在解决传统生成模型的局限性。

  • 传统大语言模型（如 GPT-4、Llama 3）依赖训练时的数据，无法动态获取最新信息，有了RAG在生成答案前，先从外部知识库（如数据库、文档、网页）检索最新信息，确保答案的时效性
  • LLM 可能会生成看似合理但实际错误的答案（即“幻觉”），基于检索到的可信数据生成答案可以减少编造信息的风险
  • 通用 LLM 可能缺乏特定行业（如医疗、法律）或企业内部数据（如公司文档）的知识。RAG 允许接入自定义知识库（如企业文档、科研论文），提供更精准的回答。

RAG 的核心价值在于让 LLM 的生成能力与外部知识库的动态检索相结合，既保留了 LLM 的语言理解能力，又弥补了其在时效性、准确性和专业性上的不足。对于需要实时数据、私有知识或可解释性的应用，RAG 是目前最有效的解决方案之一

RAG的工作原理

RAG 流程分为两个不同的阶段：索引(创建RAG)和检索(搜索RAG)，LangChain4j 为这两个阶段提供了工具。索引阶段指的是把提前准备好的数据给LLM建立RAG知识库，这些数据可以是公司的内部数据，某在线文档，或者用户上传的文档等。以下是索引阶段的简化图

在这里插入图片描述

  • Document : 我们准备用来建立知识库的数据
  • TextSplitter : 文本切割器，用于把一段大文本按照某种规则切成多个小段，以方便创建向量，因为每个模型处理的文本都是有长度限制的。
  • Segments : 代表文本切割后的每个分段
  • EmbeddingModel : 向量模型，创建RAG索引的过程需要通过 向量模型 为文本创建向量并存储到向量数据库中。向量是数学中的一个定义，这里的意思是文本向量化：将单词、句子或文档转换为数值向量（如 [0.2, -0.7, 0.5, …]）
  • EmbeddingStore ：向量存储，需要准备向量数据库用于存储文本转换后的向量

检索阶段通常发生在线，当用户提交需要使用索引文档来回答的问题时，LLM根据用户的提问去RAG中进行搜索。以下是检索阶段的简化图
在这里插入图片描述
用户的提问会被EmbeddingModel向量模型转化为向量去向量数据库中进行查找，检索到的相关数据会通过LanguageModel对话模型处理后响应给用户。

Docker安装Pgvector

1. 安装DockerDesk

首先需要下载docker-desktop：https://www.docker.com/products/docker-desktop/，根据引导安装好DockerDesktop,可以参考《Ollama+WebUI+DeepSeek部署自己的本地大模型》docker-desktop安装部分。

2. 安装Pgvector

通过终端执行docker命令创建pgvecor容器

docker run --name pgvector -v c:/data:/var/lib/postgresql/data -e POSTGRES_PASSWORD=123456 -p 5433:5432 -d ankane/pgvector
  • POSTGRES_PASSWORD : 密码
  • -p 5433:5432 ：端口是5433

在这里插入图片描述
使用navcat新建连接选择：postgressql ,数据库和用户名默认写postgres
在这里插入图片描述
选中数据 - 编辑数据库 - 扩展 - 找到vector - 移动到后边代表已安装该插件
在这里插入图片描述
PS：也可以通过CREATE EXTENSION vector; 来创建插件

执行下面SQL测试向量数据库

-- 创建测试向量表
CREATE TABLE items (id bigserial PRIMARY KEY, embedding vector(3));
-- 插入向量数据
INSERT INTO items (embedding) VALUES ('[1,2,3]'), ('[4,5,6]');
SELECT * FROM items ORDER BY embedding <-> '[3,1,2]' LIMIT 5;

效果如下
在这里插入图片描述

Windows安装Pgvector

1.安装PgSql

首先需要先安装PGSql ,下载路径 : https://www.enterprisedb.com/downloads/postgres-postgresql-downloads , 安装参考文档：https://www.enterprisedb.com/docs/supported-open-source/postgresql/installing/windows/，

2.开启Pgector

开启Pgector 需要有C++环境，所以先在电脑上安装 Visual Studio 下载路径：https://learn.microsoft.com/en-us/visualstudio/releases/2022/system-requirements ，下载执行安装，选择使用c++桌面开发
在这里插入图片描述

确保安装了Visual Studio中的C++支持，并运行：

call "C:\Program Files\Microsoft Visual Studio\2022\Community\VC\Auxiliary\Build\vcvars64.bat"

注意：具体路径将根据 Visual Studio 版本而有所不同,然后使用nmake来构建：

set "PGROOT=C:\Program Files\PostgreSQL\16"
cd %TEMP%
git clone --branch v0.8.0 https://github.com/pgvector/pgvector.git
cd pgvector
nmake /F Makefile.win
nmake /F Makefile.win install

其他注意事项

  • 缺少标头 ：如果编译失败Cannot open include file: ‘postgres.h’: No such file or directory，请确保PGROOT正确。

  • 不匹配的架构 ：如果编译失败error C2196: case value ‘4’ already used，请确保vcvars64.bat已调用。然后运行nmake /F Makefile.win clean并重新运行安装说明。

  • 缺少符号 ：如果unresolved external symbol float_to_shortest_decimal_bufn与 Postgres 17.0-17.2 链接失败，请升级到 Postgres 17.3+。

  • 权限 ：如果安装失败Access is denied，请以管理员身份重新运行安装说明。

项目集成Vector

1.配置向量存储

要使用RAG必须先引入依赖langchain4j-easy-rag,langchain4j-pgvector,然后执行SQL创建表：CREATE TABLE langchain4j (id bigserial PRIMARY KEY, embedding vector(3)); 然后在项目的配置中加入以下配置

pgvector:
  database: postgres
  host: 127.0.0.1
  port : 5433
  user: postgres
  password: 123456
  table: langchain4j

然后我们还需要一个配置类把上面配置读取到SpringBoot项目中

@Configuration
@ConfigurationProperties(prefix = "pgvector")
@Data
public class PgConfig {
	//主机
    private String host;
	//端口
    private int port;
	//数据库
    private String database;
	//账号
    private String user;
	//密码
    private String password;
	//向量表
    private String table;
}

另外要注意：如果要创建RAG知识库，就需要使用支持向量的模型，这里使用ollama.embedding配置的模型名使用的是all-minilm，如果没有该模型可以使用ollama run all-minilm 去安装

langchain4j:
#  community:
#    dashscope:  #通义千问
#      chat-model:
#        api-key: sk-xxxx #https://bailian.console.aliyun.com/?apiKey=1#/api-key
#        model-name: qwen-max-latest
  ollama:
    chat-model:
      base-url: http://127.0.0.1:11434
      model-name: llama3.1 #qwen2:7b
    embedding-model: #配置向量数据库
      base-url: http://127.0.0.1:11434
      model-name: all-minilm
2.创建 EmbeddingStore

EmbeddingStore 表示嵌入的存储，也称为向量数据库。它提供了基本的向量CRUD方法，langchain4j默认提供了 InMemoryEmbeddingStore 基于内存以及 PgVectorEmbeddingStore 基于PGVector的向量存储方式。我们直接使用基于向量数据库的，配置如下

/**
 * 嵌入模型配置
 */
@Configuration
@RequiredArgsConstructor
public class EmbeddingStoreConfig {


    final PgConfig pgConfig;

	//创建向量存储
    @Bean
    public EmbeddingStore<TextSegment> initEmbeddingStore() {
		//基于 PgVector的向量存储 - 基于yml配置读取
        return PgVectorEmbeddingStore.builder()
            .table(pgConfig.getTable())
            //.dropTableFirst(true) 每次重启都要重新创建
            .createTable(true)	//自动创建表
            .host(pgConfig.getHost())
            .port(pgConfig.getPort())
            .user(pgConfig.getUser())
            .password(pgConfig.getPassword())
            .dimension(384)	//all-minilm模型的向量维度(简单理解就是内容长度如[111,222 ... 333])
            .database(pgConfig.getDatabase())
            .build();
    }
}
  • TextSegment ：文本段，如文档或聊天对话的段（块/片段/片段）。这可能是一个句子、一个段落或任何其他具有含义的离散文本单元。此类封装一段文本及其关联的元数据。
  • dimension ：向量维度(简单理解就是内容长度如[111,222 … 333])，该值需要和向量模型支持的维度匹配，一般在各大大模型平台中的向量模型都有说明。
3.RAG创建知识库

接下来我们就需要把准备好的知识库数据投喂给大模型了，可以是你公司的私有数据，或者你的个人文章，或者是一片作文，一个段故事，格式是txt,PDF等。Langchain4j默认集成了Apache Tika 库支持多种文档类型导入 ，我们通过FileSystemDocumentLoader.loadDocuments 去导入，然后通过EmbeddingStoreIngestor去构建RAG知识库，如下


//向量存储
private final EmbeddingStore<TextSegment> embeddingStore;

//向量模型
private final EmbeddingModel embeddingModel;

/**
 * 加载文档，创建RAG知识库
 */
@RequestMapping("/rag/load")
public void ragLoad() {
    List<Document> documents = FileSystemDocumentLoader.loadDocuments("C:\\Users\\Administrator\\Desktop\\rag");
    EmbeddingStoreIngestor.builder()
            .embeddingStore(embeddingStore)
            .embeddingModel(embeddingModel)
            //文档切割 - 按照什么样的规则把文档分段
            .documentSplitter(new DocumentByLineSplitter(100,10))
            .build().ingest(documents);
}

  • FileSystemDocumentLoader.loadDocuments 加载的是一个目录，我这里创建了一个rag目录，里面随便放了一个txt文档

  • DocumentByLineSplitter 实现了 DocumentSplitter 接口，是 LangChain4j 中用于处理文档分割的核心组件，它负责将大文档分割成适合处理的较小片段(chunks)，它按照文档中的换行符(\n)将文档分割成多个文本片段(TextSegment)，每个片段对应原始文档中的一行内容。具体可以去看一下DocumentSplitter 的几种实现分别对应了不同的切割规则。DocumentByLineSplitter 的2个重要参数

    maxSegmentSizeInChars ：现在每段的最大字符，如果不加限制可能会超过大模型支持的最大的token数量

    maxOverlapSizeInChars ：文本重叠数，为了不让大模型丢失上下文，在分段的时候一般会把第一段的结尾包含一部分在第二段的开始，这样大模型在处理问题的时候就会更具人性化。

测试执行 - 观察 langchain4j向量表中的数据 - 有东西说明已经创建好了向量数据库

在这里插入图片描述

4.让智能体具备RAG搜索功能

接下来给智能体指定 contentRetriever内容检索能力，通过EmbeddingStoreContentRetriever.from(embeddingStore)) 指定 EmbeddingStore，让他可以去向量库中去检索，如下：

/**
 * 创建智能体
 * @param chatModel ：大模型
 */
@Bean
public ChatAssistant chatAssistant(ChatLanguageModel chatModel, SearchApiWebSearchEngine webSearchEngine, EmbeddingStore<TextSegment> embeddingStore){
    return AiServices.builder(ChatAssistant.class)
            //指定内容检索器
            .contentRetriever(EmbeddingStoreContentRetriever.from(embeddingStore))
            //指定对话记忆 - 记忆10次对话
            .chatMemoryProvider(memoryId -> MessageWindowChatMemory.withMaxMessages(10))
            //自定义存储方式
            .chatMemoryProvider(memoryId -> MessageWindowChatMemory.builder().chatMemoryStore(new PersistentChatMemoryStore()).maxMessages(10).build())
            //指定模型
            .chatLanguageModel(chatModel)
            //function call调用tools
            .tools(new WeatherTool(),
                    //web搜索引擎
                    new WebSearchTool(webSearchEngine))
            .build();
}
5.测试对话

创建一个controller接口测试对话，观察大模型的回答是否按照知识库中的数据来回答

在这里插入图片描述

总结

本篇文章介绍了RAG的优势和必要性，通过搭建PGVector本地向量数据库，使用Langchain4j创建RAG知识库的全过程。如果文章对你有帮助请一定三连哦，你的鼓励是我最大的动力！！！

【AI大模型应用开发】【LangChain系列】实战案例4：再战RAG问答，提取在线网页数据，并返回生成答案的来源
同学小张的博客
03-12 3413
本文利用 LangChain 实现了一个完整的问答RAG应用。其中RAG中的数据源采用加载网页数据的形式获取，而不是采用之前实践中传统的本地知识库（加载本地PDF文件）的方式。然后我们还在RAG的返回中增加了参考文本的输出，这是之前我们没有实践过的，算是一点新知识。在实现这个功能的过程中，最主要的是学会使用 LangChain 中提供的 `RunnablePassthrough` 和 `RunnableParallel` 进行值的传递。
人工智能_大模型034_LangChain004_智能体类型ReAct型_SelfAskWithSearch型_LangServe_LangChain.js/4j---人工智能工作笔记0169
添柴程序猿的专栏
04-15 331
然后,使用create_react_agent创建一个智能体,然后把llm大模型,还有智能体要用到的tools工具。可以看到,对一个任务task来说,给了LLM大模型,大模型,会反复执行,一系列的动作,其实就是自己问,可以看到上面模版的描述,就是一套prompt,prompt提供的越详细,大模型做的就越正确,越精准.先来回顾,什么是智能体,可以看到,其实就是给agent智能体提供左侧,一堆的tools工具,然后。LangServe 用来将我们做好的智能体,部署成一个REST API的服务,这个可以,
RAG-基于LangChain+ChatGLM-6B+本地知识库搭建的RAG智能问答系统-附项目源码+流程教程-优质项目实战
10-20
RAG_基于LangChain+ChatGLM-6B+本地知识库搭建的RAG智能问答系统_附项目源码+流程教程_优质项目实战
第一章.干货干货！！！Langchain4j对接AI大模型-开发自己的智能体
墨家巨子@俏如来
03-28 1812
在人工智能技术迅猛发展的今天，大型语言模型(LLM)已成为推动技术创新的核心引擎。从ChatGPT到Gemini，从Claude到文心一言，这些强大的AI模型正在重塑我们与计算机交互的方式，也为开发者提供了前所未有的机遇。然而，如何将这些前沿技术真正落地到实际应用中，构建出真正智能、实用的AI代理(Agent)，仍是许多开发者面临的挑战。Java作为企业级应用开发的主流语言，在全球拥有庞大的开发者生态和丰富的应用场景。
LangChain4j 与知识库的高效整合
小张学AI的博客
03-25 1284
在构建 AI 应用时，单纯依赖 LLM（大语言模型）往往不足以满足企业级需求。知识库（Knowledge Base）提供了一种增强 LLM 能力的方法，尤其是在需要特定领域知识、长期记忆或动态更新信息的场景下。本篇文章将深入探讨。
解锁AI的神秘力量：LangChain4j带你步入智能化实践之门
weixin_42326548的博客
05-08 1850
在探索LangChain4j的旅程中，我们不仅揭开了AI实践的神秘面纱，还发现了如何将这些强大的技术应用到实际业务中。随着智能化时代的大门缓缓开启，让我们携手LangChain4j，共同迈向一个更智能、更高效的未来。
基于LangChain4j调用火山引擎DeepSeek R1搭建RAG知识库实战指南
qq_36944952的博客
02-26 2622
随着大语言模型（LLM）的普及，如何结合企业私有知识库提升模型输出的准确性和专业性成为关键挑战。**检索增强生成（Retrieval-Augmented Generation, RAG）** 技术通过将外部知识库与生成模型结合，有效解决模型幻觉和时效性问题。本文将基于 **LangChain4j**（Java版LangChain框架）与火山引擎的 **DeepSeek R1** 模型，手把手搭建一个RAG知识库系统，并提供完整代码实现步骤。
Java开发者LLM实战——使用LangChain4j构建本地RAG系统
京东科技开发者
07-02 2685
RAG（Retrieval-Augmented Generation）的核心思想是：将传统的信息检索（IR）技术与现代的生成式大模型（如chatGPT）结合起来。具体来说，RAG模型在生成答案之前，会首先从一个大型的文档库或知识库中检索到若干条相关的文档片段。再将这些检索到的片段作为额外的上下文信息，输入到生成模型中，从而生成更为准确和信息丰富的文本。RAG的工作原理可以分为以下几个步骤：1.接收请求：首先，系统接收到用户的请求（例如提出一个问题）。2.信息****检索（R)
SpringBoot集成LangChain4j：构建智能AI应用全解析
最新发布
qq_36929638的博客
05-22 162
本文介绍了如何将大语言模型（LLM）能力集成到企业级Java应用中，重点探讨了LangChain4j与SpringBoot的结合。LangChain4j是一个专为Java设计的开源框架，提供了链式调用、工具集成、记忆管理、向量存储和函数调用等核心功能，简化了LLM与Java应用的集成。SpringBoot则提供了企业级支持，简化开发流程，并与Java生态系统无缝兼容。文章从基础概念入手，详细讲解了如何快速构建一个集成LLM的SpringBoot应用，包括添加依赖、配置API密钥、创建智能服务接口和REST控
精品-2025最新大模型RAG技术总结（技术干货+高频面试题）-81份.zip
03-30
精品干货，2025大模型RAG技术总结（技术干货+高频面试题），共81份，供大家学习参阅。 一、LLM-模型 大模型（LLMs）agent 面.pdf 大模型（LLMs）langchain面 大模型（LLMs）参数高效微调(PEFT)面 大模型（LLMs）...
用 Java 开发 AI 还难？试试 LangChain4J & Spring AI，轻松集成大模型！
孤芳不自赏
03-30 1080
这两个工具让 Java 程序员也能轻松驾驭 AI，让应用智能化不再是 Python 独享的特权。
【AI大模型应用开发】【RAG评估】2. 实战：LangChain x RAGAs x LangSmith联合评估RAG应用，兼看如何借助LangSmith有效学习LangChain
同学小张的博客
02-26 2800
今天我们完整的实战：将RAGAs集成在LangChain的RAG应用中，同时打通LangSmith平台，使评估过程可视化。同时还会有意外收获：带你看看如何利用LangSmith平台来有效学习LangChain的使用和相关知识。
别只会用别人的模型了，自学Ai大模型，顺序千万不要搞反了！刚入门的小白必备！
2301_81888214的博客
02-13 782
别只会用别人的模型了，自学Ai大模型，顺序千万不要搞反了！刚入门的小白必备！
**揭秘 LangChain4j-AIDeepin：一站式AI服务，让创新触手可及**
gitblog_00347的博客
08-08 381
揭秘 LangChain4j-AIDeepin：一站式AI服务，让创新触手可及 项目地址:https://gitcode.com/gh_mirrors/la/langchain4j-aideepin 在数字化转型的大潮中，人工智能正以前所未有的速度融入各行各业。无论是企业决策者的战略规划，还是开发者的技术革新，都在寻找如何将先进的AI技术转化为实际生产力的方法。今天，让我们一起探索一款集众多亮点于...
100行代码实现自己的RAG知识库
CoderJia的学习之路
08-19 1784
RAG是一种结合了检索和生成的混合式深度学习模型，常用于处理复杂的自然语言处理任务。RAG模型通过将外部知识库中的信息与生成模型结合在一起，可以提供更准确和上下文相关的答案。检索模块：负责从预先建立的知识库中检索与输入问题最相关的文档或信息片段。这通常通过向量检索技术实现，向量检索能够支持语义匹配，而不仅仅是关键词匹配，从而提高了检索的准确性。生成模块：接收检索到的内容并生成最终的自然语言响应。这个模块通常基于大型生成模型（如 GPT-4），能够理解和生成复杂的自然语言。
LangChain4j: 基于Java的LLM集成库完全指南
gitblog_00107的博客
08-08 1520
LangChain4j: 基于Java的LLM集成库完全指南 项目地址:https://gitcode.com/gh_mirrors/la/langchain4j 项目介绍 LangChain4j 是一个专为Java开发者设计的库，它响应了2023年初ChatGPT带来的AI热潮，填补了Java领域在语言模型（LLM）集成工具上的空白。此项目灵感源于LangChain、Haystack、Llama...
LangChain4j系列：LangChain4j ChatMemory聊天记忆详解与实战
优快云_224022的博客
08-14 2944
LangChain4j系列：LangChain4j ChatMemory聊天记忆详解与实战
RAG：实现基于本地知识库结合大模型生成(LangChain4j快速入门#1)
CodeCodeBond的博客
01-26 2713
LangChain 是一个开源框架，用于帮助开发者构建基于 大型语言模型（LLM） 的应用程序，特别是那些需要与外部数据源进行交互的应用。LangChain是python版本的，javaer基于LangChain也做了一套java版本，故名LangChain4j（LangChainForJava），很多xxx4j也是这么取名的。LangChain 使得用户能够将语言模型与各种外部资源（如数据库、API、搜索引擎、知识库等）结合起来，进行更复杂的任务，如 检索增强生成（RAG）、对话系统、文档理解等。
langchain4j本地知识库
02-18
### 如何在本地创建和管理 LangChain4j 知识库 #### 创建知识库 为了使大模型能够基于私有化的本地知识进行回答，在本地建立知识库是一个重要的步骤。这涉及到将本地知识切片后做 Embedding，再存储到向量数据库中[^1]。 对于LangChain4j而言，实现这一过程的方法之一是通过RAG（Retrieval-Augmented Generation），即检索增强型生成技术来达成。此方法允许定制化特殊场景下的模型应用，比如学校官网AI或个人博客AI等案例，确保这些应用程序仅针对特定领域内的查询提供精准的回答[^2]。 具体操作上，首先需准备要嵌入的知识文件，并将其分割成适合embedding model处理的小片段。接着利用相应的API对这些小片段实施向量化处理，最后将得到的向量数据存入预先设置好的向量数据库内[^4]。 ```java // 假设已经完成了环境配置以及必要的依赖导入 List<Document> documents = loadDocumentsFromSource(); // 加载原始文档集合 List<String> chunks = splitIntoChunks(documents); // 将文档拆分成更小的部分以便于后续处理 VectorStore vectorStore = new VectorDB(); // 初始化一个用于储存向量表示形式的对象实例 for (String chunk : chunks){ float[] embedding = generateEmbedding(chunk); // 使用预训练的语言模型为每个文本块生成对应的向量表达 vectorStore.add(embedding); // 把新产生的向量加入到矢量数据库里去 } ``` #### 查询与响应机制 一旦建立了这样的知识库，下一步就是设计如何有效地从中提取有用信息以回应用户的请求。这里的关键在于定义好合适的检索逻辑——当接收到一个新的询问时，系统会先尝试从已有的知识库里找到最接近的内容作为上下文背景，然后再交给大型语言模型来进行具体的应答创作[^3]。 ```python def get_knowledge_based_answer(query, knowledge_base_path): # 实例化llm_model_ins对象并创建LocalDocQA类的新实体 qa_system = LocalDocQA(llm_model_ins()) # 执行初始化配置动作 qa_system.init_cfg() # 设置待查问句及关联的知识源位置参数 answer_info = qa_system.get_knowledge_based_answer( query=query, kb_root_dir=knowledge_base_path ) return { "answer": answer_info['result'], "source_docs": answer_info['source_documents'] } ``` 上述代码展示了如何构建这样一个问答系统的框架结构，其中包含了加载所需资源、执行初始化工作流、指定查询条件以及最终获取答案的过程描述。
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

墨家巨子@俏如来

你的鼓励是我最大的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值