2401_85576118的博客

这导致了NLP模型在资源丰富的语言之外的性能差距扩大，模型在模仿训练分布时表现更好，而对于训练中未包含的语言则存在已知的偏见，以及对所有用户的关键安全和安全缺陷。这个指令混合包括了超过50%的资源较少的语言，显著扩展了训练数据的覆盖范围，并且比最近提出的多语言IFT数据集（如xP3）大2.5倍，包含203M个数据点。通过扩展训练数据的覆盖范围和优化数据质量，Aya 模型在多语言任务中取得了显著的性能提升，为多语言模型的发展提供了一个新的方向。