Pre-training Lightweight Large Language Model from Scratch, Evaluations and Domain Applications

本文是LLM系列文章，针对《MindLLM: Pre-training Lightweight Large Language Model from Scratch, Evaluations and Domain Applications》的翻译。

摘要

大型语言模型（LLM）在各种自然语言任务中表现出了非凡的性能，标志着向通用人工智能迈出了重大步伐。虽然通用人工智能通过开发越来越大规模的模型来发挥作用，但考虑到LLM的训练和部署成本高昂以及资源稀缺，可能还有另一个分支可以开发更好地服务于某些领域的轻量级定制模型。在本文中，我们提出了MindLLM，这是一系列新的双语轻量级大型语言模型，从零开始训练，通过提供具有13亿和30亿参数的模型来减轻这些负担。全面介绍了大型模型开发过程中积累的经验，涵盖了过程的每一步，包括数据构建、模型架构、评估和应用。这样的见解有望对其他学者和开发人员有价值。MindLLM在一些公共基准测试上的性能始终与其他开源大型模型相匹配或超越。我们还引入了一个创新的指令调整框架，专门为较小的模型量身定制，以有效地增强其能力。此外，我们探索了MindLLM在法律和金融等特定垂直领域的应用，强调了我们轻量级模型的灵活性和适应性。

1 引言

2 数据

3 我们的模型

4 预训练

5 指令调整

6 应用