11、神经网络构建与训练策略解析

神经网络构建与训练策略解析

1. 多层隐藏层的优势

在构建神经网络模型时，我们可以尝试不同的层数、神经元数量以及权重初始化方式等。例如，一个四层、每层 100 个神经元的模型，在训练集上准确率达到 94%，验证集上达到 88%，但已开始出现过拟合现象。

理论上，单层网络可以近似任何函数，但可能需要大量的神经元，导致模型实用性降低。而且，能近似函数并不意味着网络能够学会实现它，可能受神经元数量或所需时间的限制。

实践表明，更多层的网络通常只需较少的神经元就能达到相同的效果，并且对未知数据的泛化能力更好。例如，在处理图像时，一层可以学习识别垂直边缘，另一层可以学习识别水平边缘。在预测波士顿地区房屋售价时，多层网络可以揭示特征与价格之间更复杂的关系，第一层可能揭示基本关系，如大房子价格高；第二层可能揭示更复杂的关系，如大但卫生间少的房子售价低。

在选择网络层数和神经元数量时，没有固定的规则。一般建议从较少的层数和神经元数量开始，逐步增加，直到结果不再改善。

2. 不同网络的比较

当我们能够构建具有大量层或神经元的神经网络时，可能会在众多可能的模型中迷失方向，不知道哪些值得尝试。假设我们从一个具有一个包含 5 个神经元的隐藏层、一个包含 10 个神经元的层（用于“softmax”函数）和一个“softmax”神经元的网络开始，并且已经达到了一定的准确率，此时可以尝试增加隐藏层的神经元数量。

通过绘制不同神经元数量下成本函数随训练轮数的下降曲线，我们发现从 1 个神经元增加到 5 个神经元时，收敛速度明显加快，但进一步增加神经元数量，改善效果并不明显。

仅比较神经元数量可能会产生误导，我