29、大语言模型的高级应用与机器学习运维实践

大语言模型的高级应用与机器学习运维实践

1. 利用LangChain框架发挥大语言模型的威力

大语言模型（LLMs）虽然功能强大，但存在一些局限性，如上下文窗口长度有限，知识更新不及时等。LangChain框架可以帮助缓解这些问题，它包含以下几个模块：

1.1 Model I/O

该模块区分经典LLMs和聊天模型，通过不同的API进行交互。无论模型类型如何，输入数据的唯一方式是令牌序列。I/O模块为不同用例提供辅助提示模板，例如聊天模板会维护一个明确的消息列表，而不是将它们连接成单个序列。此外，该模块还可以解析模型输出，如将JSON字符串转换为实际的JSON对象。

1.2 Retrieval

此模块用于检索外部数据并将其输入到模型序列中。它可以解析CSV和JSON等文件格式，还可以将较大的文档拆分成适合上下文窗口大小的块。

1.3 向量数据库

LLM和其他神经网络的主要输出是嵌入向量，用于下游任务。向量数据库专门处理向量，并支持快速向量操作，如在整个数据库中进行不同的相似度测量。检索模块与多个向量数据库集成，可使用LLM生成和存储文档嵌入，后续查询时生成新的嵌入并与数据库进行比较，找到最匹配的结果。

1.4 Chains

Chains是将多个LangChain组件组合成单个应用程序的机制。例如，可以创建一个链，接收用户输入，使用特殊的提示模板进行格式化，将其输入到LLM中，并将LLM输出解析为JSON。还可以对链进行分支或组合多个链。

1.5 Memory

Memory用于在一系列步骤或模型与外界交互过