FTP: A FINE-GRAINED TOKEN-WISE PRUNER FOR LARGE LANGUAGE MODELS VIA TOKEN ROUTING

本文是LLM系列文章，针对《FTP: A FINE-GRAINED TOKEN-WISE PRUNER FOR LARGE LANGUAGE MODELS VIA TOKEN ROUTING》的翻译。

摘要

最近，大型语言模型（LLM）通过遵守缩放定律，在各种任务中表现出卓越的性能，这大大增加了模型的大小。然而，推理过程中巨大的计算开销阻碍了在工业应用中的部署。许多工作利用传统的压缩方法来增强模型推理，但这些方法总是会引入额外的训练成本来恢复性能，并且当目标是特定水平的加速时，修剪结果通常会显示出与原始模型相比明显的性能下降。为了解决这些问题，我们提出了一种针对LLM的细粒度token修剪方法，该方法提供了一种可学习的路由器，可以自适应地识别不太重要的token，并在模型块之间跳过它们，以降低推理过程中的计算成本。为了有效地构建路由器，我们提出了一种基于搜索的稀疏调度器来修剪稀疏分配，一种可训练的路由器，结合了我们提出的四个低维因子作为输入和三个提出的损失。我们在不同LLM的不同基准上进行了广泛的实验，以证明我们方法的优越性。我们的方法实现了最先进的（SOTA）修剪结果，超越了其他现有的修剪方法。例如，在可比的token稀疏度水平下，我们的方法在LLaMA2-7B和Qwen1.5-7B上的准确性保持率比BlockPruner和ShortGPT高出约10个点。

1 引言

2 相关工作

3 方法

4 实验

5 结论

在本文中，我们提出了一种用于LLM的细粒度token式修剪框架，该框架可以在不进行再训练的情况下优于其他SOTA LLM修剪方法。我们提出的token式修剪框架围绕三个关键步骤构建：首先，我们利用静态路