大模型API，检索增强生成Retrieval-Augmented Generation

借助API自动化处理一批任务。具体是获取API key，并将API key配置到环境变量。当然也可以查看一些“大模型API教程”进行使用。

大模型插件：是一种软件组件，设计用于增强和扩展基础大模型的功能。除了官方插件，还可以自定义插件实现更多的功能。

在大模型对话中使用\n进行分段。

RAG

结合信息检索和文本生成的方法就是RAG。

系统可以结合游客的垂直领域知识与系统预置的知识共同为游客提供服务。

检索增强生成包括三个步骤：建立索引、检索、生成。RAG如何将信息检索与文本生成结合起来。

• 建立索引：清洗和提取原始数据，解析为纯文本数据。将文本数据划分为更小片段chunk，经过嵌入得到向量数据embedding，并建立索引。
• 检索生成：选择相似度最高的k个文档块作为回答当前问题的知识。知识与问题再合并到提示词中给大模型进行回答。

构建RAG应用是减少大模型幻觉，让其能回答私有领域知识的有效手段。

常见的RAG应用路程图：

搭建RAG应用案例：
例如让大模型回答一个场景问题，可能回答不上。需要创建个知识库，维护一些私有领域的知识文档。借助阿里云百炼搭建一个基础的RAG应用。也可借助阿里云的AppFlow服务，在不写任何代码的情况下完成钉钉机器人和百炼RAG应用对话。

Agent应用

从软件工程角度看，大模型Agent是是指基于大语言模型的，能使用工具与外部数据进行交互的计算机程序。实际上，现有的大模型Agent也具备规划能力和记忆能力。

记忆可以辅助大模型生成计划、决策、内容。区分短期记忆、长期记忆。

让Agent具备规划能力：

• 任务分解：通过思维链