37、深度学习中的训练集规模与神经架构搜索

深度学习中的训练集规模与神经架构搜索

在深度学习的模型训练过程中，训练集规模对模型的性能有着重要的影响。通过在完整测试集上进行评估，我们可以观察到训练误差和测试误差如何随训练集规模的变化而变化。

训练集规模对模型性能的影响

当我们分析训练集规模与模型性能的关系时，通常会绘制学习曲线。学习曲线可以直观地展示训练误差和测试误差随训练集规模的变化趋势。

• 左图情况 ：当训练集较小时，训练误差较小，这意味着模型能够记住训练样本。然而，随着训练数据集的增加，模型的性能会变差。并且，当我们添加更多训练数据时，测试误差最终会与训练误差相似。在这种情况下，增加更多的训练数据可能不会有帮助，更有可能是所选的模型不适合该问题。
• 右图情况 ：随着训练集规模的增加，训练误差仍然较低，并且测试误差仍在下降。这表明增加训练集的规模很有可能会得到一个性能更优的模型。

下面是学习曲线的相关情况总结表格：
| 情况 | 训练集较小时训练误差 | 训练集增加时模型性能 | 增加训练数据对测试误差影响 | 增加训练数据是否有帮助 |
| — | — | — | — | — |
| 左图 | 小 | 变差 | 最终与训练误差相似 | 否 |
| 右图 | 低 | 较好 | 持续下降 | 是 |

神经架构搜索（NAS）概述

在深度学习中，找到合适的网络架构和一组合适的超参数并非易事。神经架构搜索（NAS）就是一种自动化探索不同网络架构的技术。

NAS的关键组件