14、利用RAG和智能体的上下文感知推理应用

利用RAG和智能体的上下文感知推理应用

1. 大语言模型的局限性

大语言模型（LLMs）在准确知识和最新知识方面面临诸多挑战，主要存在两个常见问题：幻觉和知识截止。

1.1 幻觉

模型可能会自信地给出错误的回答。例如，当询问“snazzy - fluffykins”犬种长什么样时，尽管这并非真实犬种，模型仍会给出虚构且可能具有误导性的描述：“The snazzy - fluffykins is a small, fluffy dog with curly fur. They have big, round eyes and long, fluffy ears.” 这种幻觉现象会导致用户对模型生成的输出缺乏信任，影响生成式AI应用的有效性。

1.2 知识截止

所有基础模型都有其训练日期的知识截止点，其知识仅限于预训练或微调时的当前数据。例如，当询问谁最近赢得了NBA总冠军时，模型可能只会给出其训练数据中最近的信息，如2021年密尔沃基雄鹿队击败菲尼克斯太阳队赢得总冠军，而无法提供最新数据。

2. 检索增强生成（RAG）

RAG并非特定的一组技术，而是一个为大语言模型提供训练时未接触数据访问权限的框架。它能让基于大语言模型的应用利用外部数据源和应用程序，克服上述知识局限性。

2.1 RAG的作用

• 应对幻觉 ：能为模型提供其原本没有的信息，如企业的专有数据，从而提高模型完成结果的相关性，减少幻觉问题。
• 解决知识截止 ：可让模型访问超出其训练