手把手系列 | 使用Milvus、Llama 3、Ollama、LangChain本地设置RAG应用

随着 Llama、Mistral、Gemma 等开源大语言模型(LLM)的出现,我们越来越能感受到 LLM 的力量,而本地运行基于 LLM 的 RAG 应用的需求越来越强烈。在将应用推至生产环境前,我们往往都需要先本地运行和测试。

因此,本文将介绍如何使用 Ollama、Llama 3 和 Milvus 向量数据库在本地部署一个检索增强生成(RAG)应用。

本文将使用到的软件和工具包括:

  • LangChain:用于创建代理,实现与数据的互动。

  • Ollama:在笔记本电脑中使用 LLM 的强大功能,简化本地操作。

  • Milvus:向量数据库用于高效存储和检索数据。

  • Llama 3:由 Meta 推出的大语言模型,Llama 系列的最新版本。

01.

问答与检索增强生成(RAG)

本文中,我们将使用 RAG 技术搭建一个高级的问答机器人。

02.

什么是 RAG?

RAG,即检索增强生成,是一种通过整合外部数据源来增强大语言模型(LLM)的技术。一个典型的 RAG 应用包括:

  • 索引流水线(Pipeline):用于从外部数据源中摄取数据并对其进行索引,随后加载、拆分并将数据存储在 Milvus 中。

  • 检索和生成:将用户查询转换为 Embedding 向量,然后从 Milvus 中检索相关数据形成上下文,然后 LLM 上下文生成响应。

文本将提供实用的操作指导,向您展示如何使用本地 LLM 构建 RAG 应用。欢迎初学者跟随本指南开始构建自己的问答机器人!

03.

前提条件

开始前,请先确保您已安装:

  • Docker 和 Docker-Compose

  • Milvus standalone

  • Ollama

04.

设置 RAG 应用

现在开始设置 RAG 应用 :

  • 通过命令 docker-compose up -d 启动 Milvus standalone 实例。该命令将以 Docker 分离(detached)模式启动您的 Milvus 实例,在后台安静运行。

  • 通过命令 ollama pull <模型名称> (例如 ollama pull llama3)获取 LLM 模型。点击此处查看可用模型列表。该命令将下载模型的默认版本(通常是最新且最小的版本)。

  • 通过命令 ollama run <模型名称> 要直接与模型进行交互。

05.

安装依赖

您还需要安装所需的依赖库。如果您直接使用 Github 上的代码,可以使用 Poetry,或者您也可以使用 pip 进行安装。



`pip install langchain pymilvus ollama pypdf langchainhub langchain-community langchain-experimental`


06.

搭建并运行 RAG 应用

如前文所述,RAG 应用中的重要组成部分就是数据索引。

  1. 使用 PyPDFLoader 导入 PDF 数据。


`from langchain_community.document_loaders import PyPDFLoader``loader = PyPDFLoader(``"https://d18rn0p25nwr6d.cloudfront.net/CIK-0001813756/975b3e9b-268e-4798-a9e4-2a9a7c92dc10.pdf"``)``data = loader.load()`


  1. 切分数据

使用 RecursiveCharacterTextSplitter 将已加载数据切分为切片。



`from langchain.text_splitter import RecursiveCharacterTextSplitter``text_splitter = RecursiveCharacterTextSplitter(chunk_size=500, chunk_overlap=0)``all_splits = text_splitter.split_documents(data)`


  1. 使用 Jina 的 Small English embeddings 将文本数据转换为 Embedding 向量并存储在 Milvus 中。


`from langchain_community.embeddings.jina import JinaEmbeddings``from langchain.vectorstores.milvus import Milvus``embeddings = JinaEmbeddings(jina_api_key=JINA_AI_API_KEY, model_name="jina-embeddings-v2-small-en"``)``vector_store = Milvus.from_documents(documents=all_splits, embedding=embeddings)`


4. 使用 Ollama 轻松在本地加载 LLM(本示例中使用 Meta 的 Llama 3)。



`from langchain_community.llms import Ollama``from langchain.callbacks.manager import CallbackManager``from langchain.callbacks.streaming_stdout import StreamingStdOutCallbackHandler``llm = Ollama(``model="llama3",``callback_manager=CallbackManager([StreamingStdOutCallbackHandler()]``),``stop=["<|eot_id|>"],``)`


5. 使用 Langchain 搭建问答机器人。构建问答链来处理和响应用户查询。



`from langchain import hub``from langchain.chains import RetrievalQA``query = input("\nQuery: ")``prompt = hub.pull("rlm/rag-prompt")`   `   ``qa_chain = RetrievalQA.from_chain_type(`    `llm, retriever=vectorstore.as_retriever(), chain_type_kwargs={"prompt": prompt}``)``result = qa_chain({"query": query})``print(result)`


07.

运行 RAG 应用

通过命令 python rag_ollama.py 运行 RAG 应用。

以下为回答示例:



`Query: What is this document about?``The document appears to be a 104 Cover Page Interactive Data File for an SEC filing. It contains information about the company's financial statements and certifications.{'query': 'What is this document about?', 'result': "The document appears to be a 104 Cover Page Interactive Data File for an SEC filing. It contains information about the company's financial statements and certifications."}`


我们已成功使用 Ollama、Llama 3、Langchain 和 Milvus 搭建了一个复杂的问答机器人。我们搭建的不应用不仅可以高效处理大规模数据集,还能够在本地针对用户问题进行回答。

如何学习大模型 AI ?

由于新岗位的生产效率,要优于被取代岗位的生产效率,所以实际上整个社会的生产效率是提升的。

但是具体到个人,只能说是:

“最先掌握AI的人,将会比较晚掌握AI的人有竞争优势”。

这句话,放在计算机、互联网、移动互联网的开局时期,都是一样的道理。

我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑,所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限,很多互联网行业朋友无法获得正确的资料得到学习提升,故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述

第一阶段(10天):初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识,对大模型 AI 的理解超过 95% 的人,可以在相关讨论时发表高级、不跟风、又接地气的见解,别人只会和 AI 聊天,而你能调教 AI,并能用代码将大模型和业务衔接。

  • 大模型 AI 能干什么?
  • 大模型是怎样获得「智能」的?
  • 用好 AI 的核心心法
  • 大模型应用业务架构
  • 大模型应用技术架构
  • 代码示例:向 GPT-3.5 灌入新知识
  • 提示工程的意义和核心思想
  • Prompt 典型构成
  • 指令调优方法论
  • 思维链和思维树
  • Prompt 攻击和防范

第二阶段(30天):高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习,学会构造私有知识库,扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架,抓住最新的技术进展,适合 Python 和 JavaScript 程序员。

  • 为什么要做 RAG
  • 搭建一个简单的 ChatPDF
  • 检索的基础概念
  • 什么是向量表示(Embeddings)
  • 向量数据库与向量检索
  • 基于向量检索的 RAG
  • 搭建 RAG 系统的扩展知识
  • 混合检索与 RAG-Fusion 简介
  • 向量模型本地部署

第三阶段(30天):模型训练

恭喜你,如果学到这里,你基本可以找到一份大模型 AI相关的工作,自己也能训练 GPT 了!通过微调,训练自己的垂直大模型,能独立训练开源多模态大模型,掌握更多技术方案。

到此为止,大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗?

  • 为什么要做 RAG
  • 什么是模型
  • 什么是模型训练
  • 求解器 & 损失函数简介
  • 小实验2:手写一个简单的神经网络并训练它
  • 什么是训练/预训练/微调/轻量化微调
  • Transformer结构简介
  • 轻量化微调
  • 实验数据集的构建

第四阶段(20天):商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知,可以在云端和本地等多种环境下部署大模型,找到适合自己的项目/创业方向,做一名被 AI 武装的产品经理。

  • 硬件选型
  • 带你了解全球大模型
  • 使用国产大模型服务
  • 搭建 OpenAI 代理
  • 热身:基于阿里云 PAI 部署 Stable Diffusion
  • 在本地计算机运行大模型
  • 大模型的私有化部署
  • 基于 vLLM 部署大模型
  • 案例:如何优雅地在阿里云私有部署开源大模型
  • 部署一套开源 LLM 项目
  • 内容安全
  • 互联网信息服务算法备案

学习是一个过程,只要学习就会有挑战。天道酬勤,你越努力,就会成为越优秀的自己。

如果你能在15天内完成所有的任务,那你堪称天才。然而,如果你能完成 60-70% 的内容,你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传优快云,朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费

在这里插入图片描述

<think>好的,用户想了解如何在LangChain4j中使用RAGMilvus集成,并请求一个示例教程。首先,我需要回顾一下自己关于LangChain4jMilvus的知识,确保信息的准确性。记得RAG分为索引检索两个阶段,而Milvus是向量数据库,用于存储检索向量数据。 首先,要确认用户可能需要的步骤。根据引用[2],LangChain4j为RAG的索引检索阶段提供了工具,所以应该分这两个部分来讲解。然后,参考引用[3]中的案例,他们使用了JSON文件作为数据源,包含问答对,这可能是一个好的示例结构。 接下来,需要考虑如何将文档加载、分块、嵌入,然后存储到Milvus中。可能需要使用LangChain4j的文档加载器,比如FileSystemDocumentLoader来加载JSON文件。分块部分,可能需要使用DocumentSplitter,例如按段落或固定大小分块。嵌入模型部分,用户可能没有指定,可以建议使用本地模型如All-MiniLM-L6-v2,或者云端如OpenAI的API,但根据引用[3],他们用了本地模型,可能更贴近用户需求。 然后是集成Milvus,需要配置Milvus的依赖,比如MilvusEmbeddingStore,并设置连接参数。在代码示例中,需要展示如何创建EmbeddingStore,并将文档向量化后存储进去。 在检索阶段,需要构建检索器,使用Retriever从Milvus中查询相关段落,再结合大模型生成答案。引用[1]提到使用阿里Qwen大模型,但用户可能也需要其他选项,比如本地运行的Ollama,如引用[3]中的案例。因此,在示例中可以选择一个常用的大模型,并给出配置方法。 另外,需要注意代码的正确性,比如确保导入正确的类,处理可能的异常,以及配置参数的准确性,比如Milvus的主机、端口、集合名称等。还要提醒用户安装必要的依赖,比如LangChain4jMilvus的客户端库。 可能的问题点包括:文档分块的大小是否合适,嵌入模型的选择影响检索效果,Milvus集合的配置(如索引类型、距离度量方法)是否正确,以及大模型生成答案的质量。需要确保示例中的参数是合理的,并建议用户根据实际数据调整。 最后,生成相关问题时要围绕RAG流程、Milvus优化、数据处理大模型选择等方面,帮助用户深入理解相关技术。</think>以下是使用LangChain4j集成Milvus实现RAG的完整示例说明: ### 一、环境准备 1. 添加依赖 ```xml <!-- LangChain4j核心库 --> <dependency> <groupId>dev.langchain4j</groupId> <artifactId>langchain4j</artifactId> <version>0.27.0</version> </dependency> <!-- Milvus集成 --> <dependency> <groupId>dev.langchain4j</groupId> <artifactId>langchain4j-milvus</artifactId> <version>0.27.0</version> </dependency> ``` 2. 初始化Milvus服务 确保本地或远程运行Milvus服务(推荐Docker部署)[^3] ### 二、RAG实现流程 #### 步骤1:文档索引 ```java // 1. 加载文档(示例使用JSON问答对) Path jsonPath = Paths.get("qa_pairs.json"); Document document = FileSystemDocumentLoader.loadDocument(jsonPath); // 2. 文档分块(按段落分割) DocumentSplitter splitter = new DocumentByParagraphSplitter(300, 50); List<TextSegment> segments = splitter.split(document); // 3. 创建嵌入模型 EmbeddingModel embeddingModel = new AllMiniLmL6V2EmbeddingModel(); // 4. 初始化Milvus存储 EmbeddingStore<TextSegment> embeddingStore = MilvusEmbeddingStore.builder() .host("localhost") .port(19530) .collectionName("qa_vectors") .dimension(384) // 与AllMiniLmL6V2维度匹配 .build(); // 5. 存储向量 EmbeddingStoreIngestor.ingest(segments, embeddingModel, embeddingStore); ``` #### 步骤2:检索增强生成 ```java // 1. 创建检索器 Retriever<TextSegment> retriever = EmbeddingStoreRetriever.from(embeddingStore, embeddingModel); // 2. 配置大模型(示例使用本地Ollama) OpenAiChatModel chatModel = OpenAiChatModel.builder() .baseUrl("http://localhost:11434") .modelName("qwen:7b") .temperature(0.3) .build(); // 3. 构建RAG链 Assistant assistant = AiServices.builder(Assistant.class) .chatLanguageModel(chatModel) .retriever(retriever) .build(); // 4. 执行查询 String answer = assistant.chat("樟脑丸可以吃吗?"); System.out.println(answer); // 输出:樟脑丸不能食用,它是用于驱虫的化学制品 ``` ### 三、关键配置说明 1. **向量维度匹配**:需确保嵌入模型输出维度与Milvus集合配置一致,例如: - `AllMiniLmL6V2` → 384维 - `text-embedding-3-small` → 1536维[^1] 2. **检索参数优化**: ```java Retriever<TextSegment> retriever = EmbeddingStoreRetriever.from( embeddingStore, embeddingModel, 5, // 最大返回结果数 0.6 // 相似度阈值 ); ``` 3. **混合检索策略**:可结合关键词搜索与向量搜索 ```java ContentRetriever hybridRetriever = new HybridContentRetriever( new EmbeddingStoreRetriever(...), new KeywordSearchRetriever(...) ); ``` ### 四、典型应用场景 1. 智能客服系统(如弱智吧问答场景[^3]) 2. 企业知识库查询 3. 法律文件智能解读 4. 医疗知识问答系统
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值