【AI大模型应用开发】【LangChain系列】实战案例6：利用大模型进行文本总结的方法探索，文本Token超限怎么办？

• 大家好，我是同学小张，日常分享AI知识和实战案例
• 欢迎 点赞 + 关注 👏，持续学习，持续干货输出。
• +v: jasper_8017 一起交流💬，一起进步💪。
• 微信公众号也可搜【同学小张】 🙏

本站文章一览：

---

假设有一组文档（PDF、Notion页面、客户问题等），你想要总结内容。可以利用大模型来帮你。今天来系统看下利用大模型来对文本进行总结的方法，以LangChain的使用为例。

参考：https://python.langchain.com/docs/use_cases/summarization

0. 方法概述

在利用大模型总结文本的过程中，最主要的工作是如何将文档内容传递给大模型。目前有两种常见的方法：

1. Stuff方法：简单地将所有文档“填充”到单个提示中。这种方法的主要优点是简单，但缺点是当文档很长或数量很多时，可能会超出模型的上下文窗口限制，导致信息丢失或模型性能下降。

2. Map-reduce方法：这种方法分为两步。首先，在“map”步骤中，单独对每个文档进行摘要。然后，在“reduce”步骤中，将这些摘要合并成一个最终摘要。这种方法的主要优点是它可以处理大量或长文档，因为它在合并之前先对它们进行了压缩。但是，这种方法可能需要额外的逻辑来确保在“reduce”步骤中生成的最终摘要是有意义和连贯的。

1. 实操练习

1.1 快速开始

1.1.1 代码示例

from langchain