＜论文＞（斯坦福）DSPy：将声明式语言模型调用编译为自我优化的pipeline

一、摘要

        本文介绍斯坦福团队发表于2023年10月的论文《DSPy: Compiling Declarative Language Model Calls into Self-Improving Pipelines》。该论文提出了一个高效简洁的大模型pipeline创建方式，使得我们可以在不需要编写并反复调整prompt的前提下实现大模型的高效调用和自我优化。相应的开源第三方库dspy也可以在github上找到，官方使用文档给出了更多的使用示例。

译文：

        机器学习社区正在迅速探索用于提示语言模型（LMs）的技术，以及将它们堆叠成解决复杂任务的pipeline的技术。不幸的是，现有的语言模型pipeline通常使用硬编码的 “prompt模板” 来实现，即通过反复试验发现的冗长字符串。为了采用更系统的方法来开发和优化语言模型pipeline，我们引入了DSPy，这是一种编程模型，它将语言模型pipeline抽象为文本转换图，即在命令式计算图中，通过声明式模块调用语言模型。DSPy模块是参数化的，这意味着它们可以（通过创建和收集示例）学习如何应用提示、微调、增强和推理技术的组合。我们设计了一个编译器，它将优化任何DSPy pipeline，以最大化给定的指标。我们进行了两个案例研究，表明简洁的DSPy程序可以表达和优化复杂的语言模型pipeline，这些pipeline可以对数学应用题进行推理、处理多跳检索、回答复杂问题以及控制智能体循环。在编译几分钟内，几行DSPy代码就能让GPT - 3.5和llama2 - 13b - chat自引导构建出优于标准少样本提示的pipeline（通常