14、利用RAG和智能体的上下文感知推理应用

利用RAG和智能体的上下文感知推理应用

1. 大语言模型的局限性

大语言模型（LLMs）在准确知识和最新知识方面面临诸多挑战，常见问题包括幻觉和知识截止。
- 幻觉 ：模型自信地返回错误响应。例如，询问“snazzy - fluffykins”犬种的样子，模型会给出虚构且可能具有误导性的描述，如“snazzy - fluffykins是一种小型、毛茸茸的犬，有卷曲的毛发、又大又圆的眼睛和长长的毛茸茸的耳朵”。这会导致用户对模型生成的输出缺乏信任，影响生成式AI应用的有效性。
- 知识截止 ：模型返回的答案可能与当前数据不符。所有基础模型都有训练日期的知识截止点，其知识仅限于预训练或微调时的当前数据。例如，询问最近谁赢得了NBA总冠军，模型可能给出2021年的信息，而无法提供最新数据。

2. 检索增强生成（RAG）概述

RAG不是一组特定的技术，而是一个为大语言模型提供训练期间未见过的数据访问的框架。它允许基于大语言模型的应用利用外部数据源和应用程序，克服上述知识局限性。
- 优势 ：对于幻觉问题，RAG可让模型访问其原本没有的信息，如企业的专有数据；对于知识截止问题，RAG能提供超出模型训练日期的当前信息，增强基础模型的信息，且无需持续进行全面微调。
- 工作原理 ：基于RAG的架构通过增强提示的形式为模型提供外部知识源的访问，增强提示包含了原始输入提示的额外上下文信息，然后使用该增强提示调用大语言模型，使模型能够利用其范围之外的知识返回更准确和相关的完成结果。

3