MobileLLM: Optimizing Sub-billion Parameter Language Models for On-Device Use Cases

本文是LLM系列文章，针对《MobileLLM: Optimizing Sub-billion Parameter Language Models for On-Device Use Cases》的翻译。

摘要

本文解决了移动设备上对高效大型语言模型（LLM）日益增长的需求，这是由于云成本和延迟问题的增加。我们专注于设计参数少于10亿的高质量LLM，这是移动部署的实用选择。与强调数据和参数量在决定模型质量中的关键作用的普遍观点相反，我们的研究强调了模型架构对十亿级LLM的重要性。利用深度和精简架构，再加上嵌入共享和分组查询注意力机制，我们建立了一个强大的基线网络，称为MobileLLM，与之前的125M/350M最先进的模型相比，其准确率显著提高了2.7%/4.3%。此外，我们提出了一种立即分块权重共享方法，不增加模型大小，只增加边际延迟开销。所得模型表示为MobileLLM-LS，与MobileLLM125M/350M相比，精度进一步提高了0.7%/0.8%。此外，MobileLLM模型系列在聊天基准测试中与之前的十亿级以下模型相比有了显著改进，并在API调用任务中证明了与LLaMA-v2 7B非常接近的正确性，突出了小型模型在常见设备上使用情况下的能力。

1 引言

2 改进十亿级以下LLM设计

3 实验

4 相关工作

5 结论

这项研究的重点是为设备上的应用优化十亿以下规模的模型。我们的研究结果表明，对于较小的模型，优先考虑深度而不是宽度可以提高模型性能。此外，通过利用先进的权重共享技术，包括嵌入共享、分组查询注意力和逐块权重共享，我们在存储受限的场景中显著提高了权重利用率。与之前的SoTA方法相比，被称