Tiny-universe 2：TinyRAG

仓库地址：https://github.com/datawhalechina/tiny-universe.git

直播链接：https://meeting.tencent.com/user-center/shared-record-info?id=4306b90c-d772-4faa-baeb-1f4e0bf4569f&is-single=false&record_type=2&from=3

  LLM会产生误导性的 “幻觉”，依赖的信息可能过时，处理特定知识时效率不高，缺乏专业领域的深度洞察，同时在推理能力上也有所欠缺。

  正是在这样的背景下，检索增强生成技术（Retrieval-Augmented Generation，RAG）应时而生，成为 AI 时代的一大趋势。

  RAG 通过在语言模型生成答案之前，先从广泛的文档数据库中检索相关信息，然后利用这些信息来引导生成过程，极大地提升了内容的准确性和相关性。RAG 有效地缓解了幻觉问题，提高了知识更新的速度，并增强了内容生成的可追溯性，使得大型语言模型在实际应用中变得更加实用和可信。

  RAG 已经成为 LLM 应用的重要组成部分，但其他RAG项目都基于封装框架提供完整服务，虽然易于使用，却隐藏了 RAG 的底层原理，也难以随心所欲地魔改升级。本项目抛弃高度封装的 RAG 框架，手搓一个从零开始的RAG项目，帮助学习者更好地理解RAG的原理。

相关论文：

TinyRAG

手搓RAG直播：直播链接

接下来我会带领大家一步一步的实现一个简单的RAG模型，这个模型是基于RAG的一个简化版本，我们称之为Tiny-RAG。Tiny-RAG是一个基于RAG的简化版本，它只包含了RAG的核心功能，即Retrieval和Generation。Tiny-RAG的目的是为了帮助大家更好的理解RAG模型的原理和实现。

OK，让我们开始吧！

1. RAG 介绍

LLM会产生误导性的 “幻觉”，依赖的信息可能过时，处理特定知识时效率不高，缺乏专业领域的深度洞察，同时在推理能力上也有所欠缺。

正是在这样的背景下，检索增强生成技术（Retrieval-Augmented Generation，RAG）应时而生，成为 AI 时代的一大趋势。

RAG 通过在语言模型生成答案之前，先从广泛的文档数据库中检索相关信息，然后利用这些信息来引导生成过程，极大地提升了内容的准确性和相关性。RAG 有效地缓解了幻觉问题，提高了知识更新的速度，并增强了内容生成的可追溯性，使得大型语言模型在实际应用中变得更加实用和可信。

RAG的基本结构有哪些呢？

• 要有一个向量化模块，用来将文档片段向量化。
• 要有一个文档加载和切分的模块，用来加载文档并切分成文档片段。
• 要有一个数据库来存放文档片段和对应的向量表示。
• 要有一个检索模块，用来根据 Query （问题）检索相关的文档片段。
• 要有一个大模型模块，用来根据检索出来的文档回答用户的问题。

OK，那上述这些也就是 TinyRAG 仓库的所有模块内容。

那接下来，让我们梳理一下 RAG 的流程是什么样的呢？

• 索引：将文档库分割成较短的 Chunk，并通过编码器构建向量索引。
• 检索：根据问题和 chunks 的相似度检索相关文档片段。
• 生成：以检索到的上下文为条件，生成问题的回答。

那也就是下图所示的流程，图片出处