An Effective Approach for Extreme Large Language Model Compression

本文是LLM系列文章，针对《Retrieval-based Knowledge Transfer: An Effective Approach for Extreme Large Language Model Compression》的翻译。

摘要

大规模预训练语言模型（LLM）在各种自然语言处理（NLP）任务中表现出了卓越的性能。然而，这些模型的巨大规模给它们在现实应用中的部署带来了巨大的挑战。虽然已经提出了许多模型压缩技术，但当模型规模存在显著差距时，大多数技术都不太适合实现极端的模型压缩。在本文中，我们介绍了一种新的压缩范式，称为基于检索的知识迁移（RetriKT），它有效地将LLM的知识迁移到极小规模的模型（例如，1%）。特别是，我们的方法从LLM中提取知识来构建知识库，小规模模型可以从中检索相关信息并利用这些信息进行有效推理。为了提高模型的质量，采用了软提示调整和近端策略优化（PPO）强化学习技术。在SuperGLUE和GLUE基准测试的低资源任务上进行了广泛的实验。结果表明，所提出的方法通过利用LLM的知识显著提高了小规模模型的性能。

1 引言

2 相关工作

3 方法

4 实验设置

5 实验结果与分析

6 结论

我们的研究解决了压缩LLM的任务，并引入了一种开创性的压缩范式，称为基于检索的知识迁移。这种方法通过创建知识库