Finetuning and Comprehensive Evaluation of Vietnamese Large Language Models

本文是LLM系列文章，针对《Crossing Linguistic Horizons: Finetuning and Comprehensive Evaluation of Vietnamese Large Language Models》的翻译。

摘要

大型语言模型（LLM）的最新进展强调了它们在人工智能进化中的重要性。然而，尽管在多语言数据集上进行了广泛的预训练，但现有的开源LLM在处理越南语方面表现出有限的有效性。缺乏为越南LLM评估量身定制的系统基准数据集和指标，加剧了这一挑战。为了缓解这些问题，我们专门针对越南人对LLM进行了微调，并制定了一个包括10项任务和31项指标的综合评估框架。我们观察到，微调可以帮助LLM跨语言传递知识，这是增强其非英语语言能力的有效方式。此外，我们的分析表明，更大的模型可能会引入更多的偏差和未校准的输出，而影响LLM性能的关键因素是训练或微调数据集的质量。这些见解强调了使用高质量数据集进行细致微调对增强LLM性能的重要性。

1 引言

2 相关工作

3 实验

4 结果和讨论

5 局限性，风险和未来方向

虽然在微调开源越南LLM方面处于领先地位，但我们的研究遇到了一些局限性。首先，由于用于训练和评估的数据集可能受到污染，我们的评估，特别是对于GPT4等封闭源模型和开源模型，但Vistral等未发表的数据，可能会有偏差。数据集污染，其中训练数据无意中包括来自测试集或有偏差样本的信息，可能导致高估性能和模型不能很好地推广到真实世界的场景。其次，微调的范围仅限于越南语，这可能不会推广到其他低资源语言。第三，评估虽然全面，但受到现有越南数据集的质量和多样性的限制。目前的数据集可能无法捕捉越南语固有的语言细微差别和文化背景的完整光谱。