RAG应用实践-基于大模型构建知识库(Java版本)

原创 2024-02-28 14:50:25 7.6k 阅读 AI写同款

MultiArrow

26粉丝5篇原创

关注

Java工程师做AI：从大模型API到RAG落地的工程实践 大模型正从技术概念走向业务场景，企业真正需要的不是训练模型，而是将模型能力稳定接进生产系统。RAG（检索增强生成）与Agent是当前AI落地最核心的技术方向：前者通过文档切分、向量检索为模型提供事实依据，解决知识库问答中的幻觉问题；后者将复杂任务拆解为工具调用，实现从“聊天”到“办事”的跨越。而Java生态在接口集成、并发治理、权限管控、异步处理上的长期积累，恰恰是保障这类系统生产级稳定性的关键。基于Spring Boot等成熟框架，开发者可以高效封装大模型API、构建向量检索链路、设计流式输出与限流降级机阅读详情

AI摘要

本文介绍了如何使用Java技术栈，如SpringBoot和langchain4j，构建一个基于大模型RAG系统的知识库，涉及数据预处理、用户提问流程、嵌入模型和LLM的整合。核心代码展示了知识库预处理和用户提问的逻辑，以及PostgreSQL作为向量数据库的应用。

目前大部分基于大模型的应用都是用python写的，本文使用java实现一个基于大模型的知识库（RAG系统）。

一、技术栈

1.1 开发框架：SpringBoot、langchain4j

1.2 数据库： Postgresql（需要安装pgvector插件以支持向量数据）

1.3 嵌入模型(embedding model)：all-minilm-l6-v2、e5-small-v2、bge-small-en、bge-small-zh

1.4 大语言模型(LLM)：GPT

二、RAG基本流程

主要分为两步：

步骤一：知识库数据预处理（向量化）

由分词器将知识切块，再交由embeding model向量化，接着将向量数据存储向量数据库中（此时我们将这些数据存储到postgres中）

步骤二：用户提问

用户提问（搜索）这一流程也可以分为两步：

文档召回：用户的问题交由embedding model向量化，并从向量数据库中进行近似搜索，返回匹配的top k个向量数据（此时通常将对应的文本块也一并返回）
向LLM提问：程序自动将匹配的内容与用户问题组装成一个Prompt，向大语言模型提问，大语言模型返回答案

三、代码

知识库预处理核心代码：

EmbeddingStoreIngestor.builder()
 .documentSplitter(documentSplitter)
 .embeddingModel(embeddingModel)
 .embeddingStore(embeddingStore)
 .build()
 .ingest(document);

用户提问逻辑核心代码：

ContentRetriever contentRetriever = EmbeddingStoreContentRetriever.builder()
                .embeddingStore(embeddingStore)
                .embeddingModel(embeddingModel)
                .maxResults(2) // on each interaction we will retrieve the 2 most relevant segments
                .minScore(0.5) // we want to retrieve segments at least somewhat similar to user query
                .build();
CustomerSupportAgent agent = AiServices.builder(CustomerSupportAgent.class)
                .chatLanguageModel(chatModel)
                .contentRetriever(contentRetriever)
                .chatMemory(chatMemory)
                .build();
agent.answer("用户的问题");