EE-Tuning: An Economical yet Scalable Solution for Tuning Early-Exit Large Language Models

本文是LLM系列文章，针对《EE-Tuning: An Economical yet Scalable Solution for Tuning Early-Exit Large Language Models》的翻译。

摘要

这项工作介绍了EE调优，这是一种轻量级且经济的解决方案，用于训练/调优早期退出的大型语言模型（LLM）。与全参数预训练的常见方法相比，EE Tuning通过以参数有效的方式调整的额外早期退出层来增强任何预训练（并且可能是微调的）标准LLM，这需要显著更少的计算资源和训练数据。我们的EE Tuning实现通过广泛的性能优化以及与3D并行度完全兼容的可扩展性，实现了卓越的训练效率。系统实验的结果验证了EE Tuning的有效性，证实了在有限的训练预算下可以实现有效的早期退出LLM推理。为了使社区能够访问早期退出的LLM，我们在上发布了EE Tuning实现的源代码https://github.com/pan-x-c/EE-LLM。

1 引言

2 方法

3 实验

4 局限性和未来工作

5 结论

这项工作对EE Tuning进行了统一和系统的研究，这是一种以参数有效的方式将任何现有LLM转换为早期退出LLM的轻量级和经济的方法。我们的EE Tuning实现经过了很好的优化，可实现最大