PCToolkit: A Unified Plug-and-Play Prompt Compression Toolkit of Large Language Models

本文是LLM系列文章，针对《PCToolkit: A Unified Plug-and-Play Prompt Compression Toolkit of Large Language Models》的翻译。

摘要

提示压缩是一种创新的方法，可以有效地压缩输入提示，同时保留基本信息。为了促进快速启动服务、用户友好的界面以及与常见数据集和指标的兼容性，我们推出了提示压缩工具包（PCToolkit）。该工具包是一个统一的即插即用解决方案，用于压缩大型语言模型（LLM）中的提示，具有尖端的提示压缩器、不同的数据集和用于全面性能评估的指标。PCToolkit拥有模块化设计，允许通过便携式和用户友好的界面轻松集成新的数据集和指标。在本文中，我们概述了PCToolkit的关键组件和功能。我们在PCToolkit中对各种自然语言任务的压缩器进行了评估，包括重建、摘要、数学问题解决、问题回答、小样本学习、合成任务、代码补全、布尔表达式、多选问题和谎言识别。

1 引言

2 相关工作

3 支持的压缩器、数据集和度量

4 工具包设计

5 评估

6 结论和未来工作

最后，我们介绍了PCToolkit，这是一个为提示压缩和评估而设计的开源项目。该工具包为研究人员和从业者提供了一个用户友好且全面的资源，包括五种尖端的压缩方法和十多个不同的数据集，涵盖了广泛的