【书生实战营】L1G4-Llamaindex RAG 实践

什么是 RAG

LLM 会出现幻觉的现象，对于模型没有学习过的内容，大模型也会一本正经的“胡说”。为了解决这个问题，2020 年 Meta 在 RAG 的概念，Retrival-Argumentation-Generation，提取-增强-生成。

基本步骤是：

首先构建知识向量库，例如文档类型的知识，对文本进行分块然后提取特征向量并存入向量库；

对于用户输入的问题，首先从知识库中提取最相关的知识；

讲检索到的知识和用户的原始输入一起喂入 LLM，生成最终的回答。

RAG 对比 微调

RAG

• 非参数记忆，利用外部知识库提供实时信息更新
• 成本小
• 适合处理知识密集任务，提供实时、准确、事实回答
• 依赖于外部知识库的质量和覆盖

微调

• 参数更新，在特定数据上训练
• 成本高，需要大量标注数据来微调
• 适合针对特定任务优化，例如编程助手、数学推导
• 微调后可能出现过拟合，导致泛化性下降

RAG 评测框架

基础测试：RGB，RECALL，CRUD

测试工具：RAGAS，ARES，TruLens

llamaindex 实操

llamaindex 是一个构建 RAG 增强 AI 应用的框架，可以进行数据分块、构建知识库、检索、搭建智能体。

升级资源为 30%A100：

不适使用 RAG：

使用 RAG：

• 下载 Xtuner 项目的 readme 文件作为外部知识放到：/root/llamaindex_demo/data
• 在llamaindex_RAG.py 中核心是使用
  • SimpleDirectoryReader 读取知识
  • VectorStoreIndex 将知识文档向量化
  • index.as_query_engine 获取向量引擎
  • query_engine.query(“xtuner是什么?”) 使用 RAG 的方式增强 llm 的回答

import os 
os.environ['NLTK_DATA'] = '/root/nltk_data'

from llama_index.core import VectorStoreIndex, SimpleDirectoryReader
from llama_index.core.settings import Settings
from llama_index.embeddings.huggingface import HuggingFaceEmbedding
from llama_index.legacy.callbacks import CallbackManager
from llama_index.llms.openai_like import OpenAILike


# Create an instance of CallbackManager
callback_manager = CallbackManager()

api_base_url =  "https://internlm-chat.intern-ai.org.cn/puyu/api/v1/"
model = "internlm2.5-latest"
api_key = "请填写 API Key"

# api_base_url =  "https://api.siliconflow.cn/v1"
# model = "internlm/internlm2_5-7b-chat"
# api_key = "请填写 API Key"



llm =OpenAILike(model=model, api_base=api_base_url, api_key=api_key, is_chat_model=True,callback_manager=callback_manager)


#初始化一个HuggingFaceEmbedding对象，用于将文本转换为向量表示
embed_model = HuggingFaceEmbedding(
    #指定了一个预训练的sentence-transformer模型的路径
    model_name="/root/model/sentence-transformer"
)
#将创建的嵌入模型赋值给全局设置的embed_model属性，
#这样在后续的索引构建过程中就会使用这个模型。
Settings.embed_model = embed_model

#初始化llm
Settings.llm = llm

#从指定目录读取所有文档，并加载数据到内存中
documents = SimpleDirectoryReader("/root/llamaindex_demo/data").load_data()
#创建一个VectorStoreIndex，并使用之前加载的文档来构建索引。
# 此索引将文档转换为向量，并存储这些向量以便于快速检索。
index = VectorStoreIndex.from_documents(documents)
# 创建一个查询引擎，这个引擎可以接收查询并返回相关文档的响应。
query_engine = index.as_query_engine()
response = query_engine.query("xtuner是什么?")

print(response)

使用 streamlit 构建 LLM 应用：