什么是RAG？什么是微调？什么是提示工程？一篇文章带你搞懂！

AI Agent开发

已于 2024-10-26 20:11:32 修改

阅读量1.4k

点赞数 24

文章标签： AI大模型大模型 LLM RAG ai 微调提示工程

于 2024-10-21 20:08:26 首次发布

本文链接：https://blog.youkuaiyun.com/m0_56255097/article/details/143128810

版权

RAG和微调各有优势，适用不同场景。研究表明，RAG适合融合新知识，微调则提升模型性能和效率，优化内部知识和输出格式，增强复杂指令执行能力。两种方法可相辅相成，推动大语言模型处理知识密集任务和快速适应新知识、定制化反馈的应用。另外，提示工程(Prompting Engineering)也能优化结果，发挥模型优势。

在这里插入图片描述

一、提示工程

提示工程是与大型语言模型交流的基础方法，类似于给出指令。它帮助你向模型明确所需信息类型，即学习如何准确提问以获取最佳答案。然而，这种方法有其局限，因为模型只能基于其训练数据来响应。

在这里插入图片描述

优点：

易用性：用户友好，不需要高级技术知识。
成本效率：使用预训练模型降低了计算成本。
灵活性：可以通过调整提示快速得到不同结果，无需重新训练模型。

缺点：

不稳定性：模型响应的质量和相关性取决于提示的质量。
定制限制：定制响应的能力受限于创建有效提示的能力。
知识限制：输出受限于模型初始训练时所学的内容，难以提供最新的或高度专业化的信息。

二、微调

微调是更新和特化语言模型的过程，就像为手机应用添加新功能。这需要给模型提供大量新数据并花费时间让其学习，如同送模型回学校进修。

虽然微调耗资且耗时，但如果需要模型深入了解特定主题，则值得这样做。微调后，模型能提供更精确的答案。

优点：

定制化：能高度定制，使模型适应特定领域或风格。
准确性：在特定数据集上训练，生成更准确的响应。
适应性：能处理特定领域或原始训练中未覆盖的新信息。

缺点：

高成本：需要大量计算资源，费用高于简单提示。
技术门槛：要求具备机器学习和模型架构的专业知识。
数据需求：需要大量高质量的数据集，获取困难。

三、检索增强生成（RAG）

检索增强生成（RAG）结合了语言模型与知识库的功能。当模型需要回答问题时，它先从知识库中检索相关信息，再根据这些信息来作答。这就像模型查阅资料库以确保答案的准确性。

RAG适合需要最新信息或超出模型原有知识范围的情况。它的成本和设置介于简单提示和全面微调之间，有助于提供新颖且详细的答案。不过，RAG同样需要额外工具和信息支持。

RAG系统的性能依赖于向量数据库，如MyScale，这是一种成本较低但性能较高的解决方案。MyScale不仅费用更低，而且性能更优，并且可以通过简单的SQL语法访问，方便开发者使用。

优点：

动态信息：可提供最新且相关的信息。
平衡性：在提示工程的简便与微调的精准之间找到了平衡。
上下文相关：增加上下文信息，提升回答的深度和洞察力。

缺点：

复杂性：需要整合语言模型与检索系统。
资源需求：尽管比微调需求少，但仍需较大计算资源。
数据依赖：输出质量依赖于检索信息的准确性和相关性。

四、RAG vs 微调

RAG 就像给模型一本教科书，用于定制的信息检索，非常适合特定的查询。另一方面，FT 就像一个学生随着时间的推移内化知识，更适合模仿特定的结构、风格或格式。FT 可以通过增强基础模型知识、调整输出和教授复杂指令来提高模型的性能和效率。然而，它不那么擅长整合新知识或快速迭代新的用例。RAG 和 FT，并不是相互排斥的，它们可以是互补的，联合使用可能会产生最佳性能。