An Empirical Study of Instruction-tuning Large Language Models in Chinese

本文是LLM系列文章，针对《An Empirical Study of Instruction-tuning Large Language Models in Chinese》的翻译。

摘要

ChatGPT的成功验证了大型语言模型（LLM）在通用人工智能（AGI）中的潜力。随后，LLM的发布引发了开源社区对指令调优的兴趣，这被认为加速了ChatGPT的复制过程。然而，对世界上最常用的语言——汉语的指令调整LLM的研究仍处于早期阶段。因此，本文对汉语指令调整LLM进行了深入的实证研究，可以作为一本食谱，为有效定制能够更好地响应汉语指令的LLM提供有价值的发现。具体来说，我们系统地探讨了LLM基础、参数有效方法和指令数据类型的影响，这是指令调优的三个最重要的元素。此外，我们还进行了实验来研究其他因素的影响，如思维链数据和人类价值取向。我们希望这一实证研究能够为ChatGPT的中文公开版做出微薄的贡献。本文将发布一个强大的中国LLM，可与ChatGLM相媲美。代码和数据可在https://github.com/PhoebusSi/Alpaca-CoT上找到。

1 引言

2 指令调整三元组

3