本文是LLM系列文章,针对《An Empirical Study of Instruction-tuning Large Language Models in Chinese》的翻译。
摘要
ChatGPT的成功验证了大型语言模型(LLM)在通用人工智能(AGI)中的潜力。随后,LLM的发布引发了开源社区对指令调优的兴趣,这被认为加速了ChatGPT的复制过程。然而,对世界上最常用的语言——汉语的指令调整LLM的研究仍处于早期阶段。因此,本文对汉语指令调整LLM进行了深入的实证研究,可以作为一本食谱,为有效定制能够更好地响应汉语指令的LLM提供有价值的发现。具体来说,我们系统地探讨了LLM基础、参数有效方法和指令数据类型的影响,这是指令调优的三个最重要的元素。此外,我们还进行了实验来研究其他因素的影响,如思维链数据和人类价值取向。我们希望这一实证研究能够为ChatGPT的中文公开版做出微薄的贡献。本文将发布一个强大的中国LLM,可与ChatGLM相媲美。代码和数据可在https://github.com/PhoebusSi/Alpaca-CoT上找到。