Prompt Compression for Large Language Models: A Survey

本文是LLM系列文章，针对《Prompt Compression for Large Language Models: A Survey》的翻译。

摘要

将大型语言模型 （LLM） 用于复杂的自然语言任务通常需要长格式提示来传达详细的需求和信息，这会导致内存使用和推理成本增加。为了缓解这些挑战，已经提出了多种有效的方法，其中提示压缩引起了研究的极大兴趣。本调查概述了提示压缩技术，分为硬提示方法和软提示方法。首先，比较了这些方法的技术方法，然后探索了理解其机制的各种方法，包括注意力优化、参数高效微调 （PEFT）、模态集成和新的合成语言的观点。我们还研究了各种提示压缩技术的下游适应。最后，分析了当前提示压缩方法的局限性，并概述了几个未来的方向，例如优化压缩编码器、结合硬提示和软提示方法以及利用多模态的见解。

1 引言

2 前言

3 硬提示方法

4 软提示方法

5 下游适应

6 挑战和未来工作

7 结论

本调查从硬提示和软提示方法的角度全面概述了以前的提示压缩方法。除了讨论这些模型的技术方法外，还探讨了理解压缩过程及其应用的不同观点。此外，我们还讨论了现有 prompt 压缩方法的挑战，并提出了潜在的未来发展方向。应该注意的是，应该将提示压缩方法与注意力优化技术进行比较，它们可以从