26、低数据与大规模数据下的模型训练探索

低数据与大规模数据下的模型训练探索

1. 低数据情况下的模型应用

在数据标签较少甚至没有标签的情况下，并非毫无办法。我们可以利用在其他任务上预训练的模型，如BERT语言模型或在Python代码上训练的GPT - 2，对GitHub问题分类这一新任务进行预测。此外，在使用普通分类头训练模型时，还可以通过领域自适应来进一步提升性能。

选择哪种方法在特定用例中效果最佳，取决于多个方面：
- 有多少带标签的数据
- 数据的噪声程度
- 数据与预训练语料库的接近程度等

为了找出最有效的方法，建立一个评估管道并快速迭代是个好主意。Transformers灵活的API允许我们快速加载多个模型并进行比较，而无需更改任何代码。Hugging Face Hub上有超过10,000个模型，很有可能有人之前已经处理过类似的问题，我们可以在此基础上进行构建。

在评估方法时，至少要尽早构建验证集和测试集。在整个过程中，也可以收集更多带标签的数据。通常，标注几百个示例只需几个小时或几天的工作，而且有很多工具可以辅助完成。根据目标，花时间创建一个小而高质量的数据集，可能比设计一个非常复杂的方法来弥补数据不足更有意义。通过上述方法，可以充分利用宝贵的带标签数据。实践表明，即使只有一百个示例，Transformer模型仍然具有强大的性能。

2. 大规模数据下的模型训练

2.1 大规模数据训练的背景与目标

有一些应用可以利用GPT类的Transformer模型进行代码自动补全，如GitHub Copilot、TabNine和Kite等。现在我们要构建自己的类似GPT的模型，用于生成Python源代码，