还不会部署知识库？手把手教学RAG入门（附教程）

最新推荐文章于 2025-04-30 11:22:05 发布
最新推荐文章于 2025-04-30 11:22:05 发布
阅读量1k 收藏 29
点赞数 12
文章标签： 数据库 人工智能 LLM RAG 程序员 llama 知识库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Y525698136/article/details/146495482
版权

要学习RAG，感觉最好就是直接上手搭建一套相关的大模型，从中就可以慢慢理解RAG到底是用来干嘛的。

先来说说RAG是什么？目前借助于大模型的帮助，在不需要微调的情况下，我们就可以搭建属于自己的知识库。这种技术被称为**RAG（Retrieval-Augmented Generation）。**简单来说就是通过大模型LLM的能力，在其基础上引入外部的知识库数据，这样大模型AI在回答问题的时候更加的精确。

整体的RAG技术框架包括三个方面：

  • 数据索引阶段：构造向量数据库，引入自己的外部数据源
  • 检索阶段：根据用户给定的问题，从数据库中找到精确的信息
  • 生成阶段：利用检索到的数据库中的信息，生成回答

了解了一些简单的RAG知识之后，如何利用这些技术快速搭建一个属于自己的个人知识库呢？

里利用字节开发的Coze，简单演示一下如何构建自己的个人知识库。首先打开网站：

https://www.coze.cn/home

创建一个属于自己的机器人，这里我取了一个名字叫“算法一只狗的小助理”：

知识库创建

为了达到引入自己文章的目的，需要先新建一个自己的知识库：

上传你自己的文档到“我的空间”中，因为我大部分的文章都是用markdown格式下的，因此可以把文档导入并转换成“飞书在线文档”：

整理好自己的文件夹后，需要把文件设置成“互联网公开”的形式：

把对应的文件夹设定成“互联网上获得链接的人可阅读”：

最后整体的文件目录如下：

登陆自己的账号，回到刚刚建立的知识库中，飞书文章导入进来：

可以看到自己的文章可以进行选择，如果没有选择互联网公开，这里面是看不到文章的：

最后导入后，就可以看到自己对应的知识库了：

测试Coze小助手

可以回到Bots建立的页面，把刚刚搭建的知识库添加进来

然后设定prompt词语，由于我只想让这个机器人搜索基于知识库的内容进行问答，因此输入了下面的prompt：

使用知识库搜索问答

然后再点击它自带的优化提示词功能：

接下来右边界面就可以开始测试自己的Bots机器人了

chatgpt账号升级

它不仅能够根据你给定的文章进行搜索和总结，同时也给出了具体的文章链接。

有了这个功能之后，以后如果你的个人知识库有新增的话，那就可以添加到里面，只需要和他进行对话就可以方便查找自己的文章。

写在最后

上面就是一个简单的利用RAG技术搭建个人知识库的步骤，所以说RAG其实是在大模型上的一个辅助技术，它不需要重新训练大模型，只需要让大模型根据已有知识去回答就可以了。但缺点就是由于没有进行过微调，导致可能回答的内容不够专业，对于在专有领域上去使用，效果还是不佳。因此RAG技术需要权衡一下你使用的领域，毕竟适合自己的才是好的。

如何系统的去学习大模型LLM ？

大模型时代，火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业？”“谁的饭碗又将不保了？”等问题热议不断。

事实上，抢你饭碗的不是AI，而是会利用AI的人。

继科大讯飞、阿里、华为等巨头公司发布AI产品后，很多中小企业也陆续进场！超高年薪，挖掘AI大模型人才！ 如今大厂老板们，也更倾向于会AI的人，普通程序员，还有应对的机会吗？

与其焦虑……

不如成为「掌握AI工具的技术人」，毕竟AI时代，谁先尝试，谁就能占得先机！

但是LLM相关的内容很多，现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学，学习成本和门槛很高。

基于此，我用做产品的心态来打磨这份大模型教程，深挖痛点并持续修改了近70次后，终于把整个AI大模型的学习门槛，降到了最低！

在这个版本当中：

第一您不需要具备任何算法和数学的基础
第二不要求准备高配置的电脑
第三不必懂Python等任何编程语言

您只需要听我讲，跟着我做即可，为了让学习的道路变得更简单，这份大模型教程已经给大家整理并打包，现在将这份 LLM大模型资料 分享出来：包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

👉优快云大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

​

一、LLM大模型经典书籍

AI大模型已经成为了当今科技领域的一大热点，那以下这些大模型书籍就是非常不错的学习资源。

在这里插入图片描述

二、640套LLM大模型报告合集

这套包含640份报告的合集，涵盖了大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。(几乎涵盖所有行业)
在这里插入图片描述

三、LLM大模型系列视频教程

在这里插入图片描述

四、LLM大模型开源教程（LLaLA/Meta/chatglm/chatgpt）

在这里插入图片描述

五、AI产品经理大模型教程

在这里插入图片描述

LLM大模型学习路线 ↓

阶段1：AI大模型时代的基础理解

  • 目标：了解AI大模型的基本概念、发展历程和核心原理。

  • 内容：

    • L1.1 人工智能简述与大模型起源
    • L1.2 大模型与通用人工智能
    • L1.3 GPT模型的发展历程
    • L1.4 模型工程
    • L1.4.1 知识大模型
    • L1.4.2 生产大模型
    • L1.4.3 模型工程方法论
    • L1.4.4 模型工程实践
    • L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

  • 目标：掌握AI大模型API的使用和开发，以及相关的编程技能。

  • 内容：

    • L2.1 API接口
    • L2.1.1 OpenAI API接口
    • L2.1.2 Python接口接入
    • L2.1.3 BOT工具类框架
    • L2.1.4 代码示例
    • L2.2 Prompt框架
    • L2.3 流水线工程
    • L2.4 总结与展望

阶段3：AI大模型应用架构实践

  • 目标：深入理解AI大模型的应用架构，并能够进行私有化部署。

  • 内容：

    • L3.1 Agent模型框架
    • L3.2 MetaGPT
    • L3.3 ChatGLM
    • L3.4 LLAMA
    • L3.5 其他大模型介绍

阶段4：AI大模型私有化部署

  • 目标：掌握多种AI大模型的私有化部署，包括多模态和特定领域模型。

  • 内容：

    • L4.1 模型私有化部署概述
    • L4.2 模型私有化部署的关键技术
    • L4.3 模型私有化部署的实施步骤
    • L4.4 模型私有化部署的应用场景

这份 LLM大模型资料 包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

👉优快云大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

​

【AI大模型应用开发】3. RAG初探 - 动手实现一个最简单的RAG应用
同学小张的博客
02-01 4582
大模型也不是万能的，也有局限性。RAG是提高大模型在垂直领域能力和减少幻觉的通用方法论，非常重要和有用。本文带你动手实现一个最简单的RAG应用，你将学会一个标准RAG的通用流程和原理。
【DeepSeek应用实践】手把手教程：用 AnythingLLM + Ollama + DeepSeek-R1 搭建本地企业知识库
寻道AI，探索AI无限可能！
03-28 1354
在众多的技术方案中，我们选择了 AnythingLLM、Ollama 和 DeepSeek-R1 这一组合来搭建本地知识库。Ollama 作为一个轻量级的本地化大语言模型部署工具，支持多种模型，易于安装和使用，能够快速在本地运行强大的语言模型。DeepSeek-R1 是一个专为知识库问答设计的检索增强生成（RAG）模型，它结合了检索和生成的优势，能够快速从知识库中检索相关信息并生成精准答案。而 AnythingLLM 则是一个用户友好的界面工具，可以方便地连接 Ollama 和 DeepSeek-R1
RAG 实践- Ollama+RagFlow 部署本地知识库
python123456_的博客
09-04 5609
本文我们介绍另一种实现方式：利用 Ollama+RagFlow 来实现，其中 Ollama 中使用的模型仍然是Qwen2我们再来回顾一下 RAG 常见的应用架构。
一文搞懂大模型技术-RAG（检索增强生成）
Z987421的博客
04-11 1343
检索机制是 RAG 的关键部分。同样，在法律领域，律师需要引用最新的法律条文，而模型只能基于过去的知识生成答案，这显然是不够的。该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。例如，当模型检索到多篇关于“量子计算”的文档时，去噪步骤会排除那些与主题无关或信息不准确的文档，而推理步骤则会从剩下的文档中提取关键信息，生成一个全面且逻辑清晰的答案。
实战指南：本地部署大模型与基于RAG构建私有知识库，一步到位！
2401_85375186的博客
02-15 1070
以上就是本地大模型部署和基于RAG方案的私有知识库搭建的基本操作。除此之外，还有更多丰富有趣的功能等待探索。如今大模型遍布各行各业、各个领域，基于RAG方案的私有知识库技术也逐渐发展，成为提升个人工作效率与创造潜能的新风尚。本地部署模型意味着用户能在自己的设备上享受即时响应的智能辅助，无需依赖云端，既保护了个人数据隐私，又确保了操作的低延迟与高可靠性。结合RAG方案的私有知识库，则让每位用户能够构建专属自己的知识宇宙。
大模型RAG实战｜构建知识库：文档和网页的加载、转换、索引与存储，零基础入门到精通，收藏这一篇就够了
Python_0011的博客
08-06 2659
今天，开始写一个新的系列《大模型RAG实战》。上个月我在2篇文章中，介绍了如何使用LlamaIndex框架，通过少量代码，实现本地可部署和运行的大模型RAG问答系统。我们要开发一个生产级的系统，还需要对LlamaIndex的各个组件和技术进行深度的理解、运用和调优。本系列将会聚焦在如何让系统实用上，包括：知识库的管理，检索和查询效果的提升，使用本地化部署的模型等主题。我将会讲解相关的组件和技术，辅以代码示例。最终这些文章中的代码将形成一套实用系统。过去一年，大模型的发展突飞猛进。
手把手教学RAG如何入门（附教程）
Y525698136的博客
01-28 1677
要学习RAG，感觉最好就是直接上手搭建一套相关的大模型，从中就可以慢慢理解RAG到底是用来干嘛的。
自己手写了一个大模型RAG项目-05.基于知识库的大模型问答
qq_35054222的博客
04-29 5291
github上的代码封装程度高，不利于小白学习入门。常规的大模型RAG框架有langchain等，但是langchain等框架源码理解困难，debug源码上手难度大。因此，我写了一个人人都能看懂、人人都能修改的大模型RAG框架代码。整体项目结构如下图所示：手把手教你大模型RAG框架架构整个小项目分为10个章节，和github高度封装的RAG代码不同，我们将从0到1搭建大模型RAG问答系统！本篇文章将介绍，知识库构建好之后还需要通过知识检索和智能问答。
【AI大模型应用开发】AI+知识图谱极简入门：手把手带你体验LangChain实现知识图谱创建和查询（附代码和源码分析）
2401_85377976的博客
07-22 867
知识图谱是一种结构化的语义知识库，它通过图的形式存储和表示实体（如人、地点、组织等）以及实体之间的关系（如人物关系、地理位置关系等）。知识图谱通常用于增强搜索引擎的语义理解能力，提供更丰富的信息和更准确的搜索结果。知识图谱的主要特点包括：1. **实体(Entity)**：知识图谱中的基本单元，代表现实世界中的一个对象或概念。2. **关系(Relation)**：实体之间的联系，如“属于”、“位于”、“创立者”等。
大语言模型原理与工程实践：手把手教你训练 7B 大语言模型 自动化训练框架
AI天才研究院
07-10 1355
近年来，大语言模型（Large Language Models，LLMs）在自然语言处理领域取得了突破性进展。从GPT-3到ChatGPT，再到最新的GPT-4，这些模型展现出了惊人的语言理解和生成能力，引发了学术界和产业界的广泛关注。然而，训练如此庞大的模型不仅需要海量的数据和计算资源，还需要复杂的工程实践和优化技巧。本文将深入探讨大语言模型的原理，并以7B参数规模的模型为例，详细介绍如何构建一个自动化训练框架，使读者能够亲自动手训练自己的大语言模型。
书生大模型第四期笔记:Prompt/RAG/XTuner微调/Agent/LMDeploy量化部署...
m0_53632564的博客
11-07 1306
远程连接的好处就是，如果你使用的是远程办公，你可以通过SSH远程连接开发机，这样就可以在本地进行开发。是一种网络技术，它可以将外网中的任意端口映射到内网中的相应端口，实现内网与外网之间的通信。这条命令会通过开发机 SSH 通道将开发机内的 {开发机_PORT} 转发到您本地机器的 (本地机器_PORT}，这个过程可能会要求你输入 SSH 链接的密码。组成，为建立安全的 SSH 通道，双方需要先建立 TCP 连接，然后协商使用的版本号和各类算法，并生成相同的。，我们使用本地连接访问，解决这个代理问题。
多模态RAG怎么做？读懂多模态RAG看这一篇就够了！
最新发布
javatiange的博客
04-30 993
实验显示，使用 OmniSearch 自身作为子问题求解器不仅没有降低性能，反而提高了其问题解决能力，表明检索路径规划学习增强了模型的知识推理能力，带来了跨任务的收益。当使用 GPT-4V 作为 Qwen-VL-Chat 的子问题求解器时，OmniSearch 的性能显著提升，证明0了更强大的子问题求解器对模型整体性能的正面影响。细化检索query以获取更多的补充知识;为此，本文将探索如何将多模态模型集成至RAG 系统中，即看一看结合图像和文本是否可以提高 RAG 的性能，并找出了这种系统的最佳配置。
动手做一个最小RAG——TinyRAG
Datawhale
03-10 2499
Datawhale干货作者：宋志学，Datawhale成员大家好，我是不要葱姜蒜。接下来我会带领大家一步一步地实现一个简单的RAG模型，这个模型是基于RAG的一个简化版本，我们称之为Tiny-RAG。Tiny-RAG是一个基于RAG的简化版本，它只包含了RAG的核心功能，即Retrieval和Generation。Tiny-RAG的目的是为了帮助大家更好地理解RAG模型的原理和实现。OK，让我...
【RAG】表格场景RAG怎么做？TableRAG：一种增强大规模表格理解框架
余俊晖，NLP炼丹师，目前专注自然语言处理领域研究。曾获得国内外自然语言处理算法竞赛TOP奖项近二十项。
10-11 2475
文档领域的RAG，之前的工作如ChatPDF等很多的RAG框架，文档数量一旦增加，将导致响应准确性下降，如下图；现有RAG方法在处理具有相似内容（在面对大量难以区分的文档时）和结构的文档时表现不佳；用户查询常常涉及元信息，还增加了检索和生成的复杂性，导致检索的准确性会下降，本文介绍的方法-HiQA，一种用于主要解决多文档问答（MDQA）中的检索增强生成方法。本文介绍了HiQA，这是一个专门为了解决现有RAG在多文档问答（MDQA）环境中的局限性而设计的新型框架，特别是在处理无法区分的多文档时。
手把手教你实现RAG
u012854516的专栏
03-13 3535
这样切分出来的文档片段就是一个一个的差不多相同长度的文档片段了。不过在切分的时候要注意，片段与片段之间最好要有一些重叠的内容，这样才能保证检索的时候能够检索到相关的文档片段。LLM会产生误导性的 “幻觉”，依赖的信息可能过时，处理特定知识时效率不高，缺乏专业领域的深度洞察，同时在推理能力上也有所欠缺。基类，这样我们再用其他的模型的时候，只需要继承这个基类，然后在此基础上进行修改即可，方便代码扩展。一样的，我们还是先实现一个基类，这样我们在遇到其他的自己感兴趣的模型就可以快速的扩展了。
打造自己的解析大模型：模型的安装与推理
2401_85328934的博客
09-29 1405
RAG系统中要快速构建AI助理，首先要高效、准确地建立知识库，而实现这一点的关键便是具备一个功能强大的文档解析器。在上一篇中，我们介绍了PdfParser，本篇将深入讨论该解析器所依赖的模型，以及如何在Windows环境中安装并运行这些模型进行推理。
一文搞懂RAG，原理，流程，最佳实践
2401_85324918的博客
07-24 2074
最近遇到好多人和我交流RAG相关的技术，同事在说，面试在说，甚至我多年未联系的挚爱亲朋都突然来问我RAG是个啥？要怎么搞？我印象中22年23年，讨论大模型应用，都在讲三个方向。但是随着越来越多的应用被开发出来，RAG相对另外两者稍显走弱。我们组今年甚至几乎没有RAG相关的规划，都还在之前搭的老一套上用。所以，一文搞懂RAG。为了减少的大小，可以先拼接，再总结，再发给大模型进行处理。不过这种用法很少见，一般是把这个小模型直接做在模型层面，和大模型一起做成一个混合模型，并且会做大量的意图识别的训练。
构建高级RAG的指南和技巧
GitCode
01-19 997
作者：Leonie Monigatti这是一份全面的 RAG 指南，详细阐述了采用 RAG 的动机，以及如何超越基础或初级 RAG 构建的技术和策略。新的一年伊始，你可能正考虑进入 RAG 领域，尝试构建你的首个 RAG 系统。或者，你已经构建了基础 RAG 系统，现在希望进一步提升，以便更好地处理用户的查询和数据结构。无论你处于哪种情况，如何着手可能都是一个挑战！希望这篇博客文章能为你指明下一步的方向，并为你在构建高级 RAG 系统时提供一个思维模型，帮助你做出决策。
学习RAG知识
he1223991940的博客
08-12 1440
"RAG" 是 Retrieval-Augmented Generation 的缩写，这是一种结合检索和生成的技术，用于改进自然语言处理任务中的信息生成。RAG 模型通过首先从一个大型文档集合中检索相关信息，然后基于这些检索到的信息生成回答或文本。这种方法可以提高生成内容的准确性和相关性，特别是在需要特定知识或上下文的任务中。RAG使大型语言模型（LLMs）能够访问外部数据，并作为一种机制来减轻幻觉现象。
docker部署rag知识库教程
04-25
### 使用 Docker 部署 RAG 知识库的教程 #### 背景介绍 检索增强生成 (Retrieval-Augmented Generation, RAG) 是一种结合了传统检索技术和现代生成模型的方法，用于提高自然语言处理任务中的信息准确性[^1]。通过将外部知识源引入到生成过程中，RAG 可以为各种应用场景提供更高质量的结果。 Docker 提供了一种轻量级的方式，在隔离环境中运行应用程序及其依赖项。因此，使用 Docker 来部署 RAG 系统可以简化环境配置并提升可移植性。 --- #### 准备工作 为了成功部署基于 Docker 的 RAG 知识库，需完成以下准备工作： - **安装 Docker**：确保本地已安装最新版本的 Docker 引擎。 - **获取数据集**：准备要使用的文档集合作为知识库输入。 - **选择框架**：常见的 RAG 实现框架包括 Hugging Face Transformers 和 Haystack。 --- #### 教程步骤概述 以下是构建和运行 RAG 知识库容器的主要过程： ##### 1. 创建 Dockerfile 定义一个 `Dockerfile` 文件来描述如何设置镜像环境。下面是一个简单的例子，假设我们正在使用 Haystack 框架实现 RAG 功能。 ```dockerfile # 基础镜像 FROM python:3.9-slim # 设置工作目录 WORKDIR /app # 安装必要的 Python 库 COPY requirements.txt . RUN pip install --no-cache-dir -r requirements.txt # 复制应用文件至容器内 COPY . . # 启动命令 CMD ["python", "run_rag.py"] ``` 其中，`requirements.txt` 列出了项目所需的全部依赖包，例如： ``` haystack==1.10.0 transformers>=4.27.0,<5.0.0 torch>=1.8.0 faiss-cpu>=1.7.0 elasticsearch>=7.0.0 ``` ##### 2. 构建自定义镜像 执行以下命令以创建新的 Docker 镜像： ```bash docker build -t rag-knowledge-base . ``` 此操作会读取当前路径下的 `Dockerfile` 并按照指示逐步组装最终产物。 ##### 3. 运行容器实例 启动新建立好的服务端口映射以及挂载持久化存储位置以便保存索引资料等重要资源。 ```bash docker run \ -d \ -p 8000:8000 \ -v $(pwd)/data:/app/data \ --name rag-instance \ rag-knowledge-base ``` 这里 `-v` 参数指定了主机上的某个文件夹与容器内部对应区域之间的双向同步关系；而 `-p` 则负责暴露指定的服务接口给外界访问。 ##### 4. 测试 API 接口 如果一切正常的话，现在应该可以通过浏览器或者 Postman 工具向地址 http://localhost:8000 发送请求来进行查询测试啦！ --- #### 注意事项 尽管上述方法简单易懂，但在实际生产环境下还需要考虑更多因素比如安全性加固措施、性能优化策略等方面的内容。另外值得注意的是并非所有的第三方插件都支持无缝集成进此类解决方案当中去所以前期调研阶段非常重要不可忽视哦[^1]. ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值