31、探索Transformer模型的未来发展：从规模扩展到高效注意力机制

探索Transformer模型的未来发展：从规模扩展到高效注意力机制

1. 代码生成质量评估与模型构建

在文本生成质量评估方面，BLEU是常用指标，但它并不适合代码生成场景。代码编写中变量和类的命名较为自由，只要保持一致，程序的成功运行并不依赖于特定的命名方案。而BLEU得分会对与参考命名不同的生成结果进行惩罚，即便对于人类程序员来说，这种参考命名也几乎难以预测。

在软件开发中，有更好、更可靠的方法来衡量代码质量，例如单元测试。通过对多个代码生成结果运行一组单元测试，并计算通过测试的生成结果的比例，可以评估模型性能。

为了创建Python代码自动完成功能，我们采取了以下步骤：
1. 构建适合预训练大型语言模型的自定义大规模数据集。
2. 创建能够使用该数据集有效编码Python代码的自定义分词器。
3. 在多GPU基础设施上，借助 accelerate 库，用不到200行代码编写训练脚本，从零开始训练大型GPT - 2模型。

经过对模型输出的研究，我们发现该模型能够生成合理的代码延续，并探讨了如何系统地评估模型。

2. 扩展Transformer模型

近年来，Transformer模型的规模呈现出显著的增长趋势。2019年，Richard Sutton在《The Bitter Lesson》中指出，从70年的AI研究中可以得出，利用计算能力的通用方法最终是最有效的。在Transformer领域，也出现了类似的情况，如2021年年中表现最佳的GPT - 3等模型，本质上是原始模型的基本扩展版本，架构改动不大。

模型规模的大幅增长是有实证依据