26、神经网络实验：参数对性能的影响

神经网络实验：参数对性能的影响

1. 大模型数据不足问题

在某些情况下，最大模型会出现性能下降的情况。这可能是因为训练这些模型时使用的数据量不足。例如，在绘制相关图表时，每个模型仅使用了1000个样本进行训练。对于大型模型而言，这么少的数据可能不足以充分训练如此广泛的模型。如果增加训练样本数量（对于MNIST数据集，我们有60000个样本可供选择），这种性能下降的情况可能会消失。

2. 批量大小对训练的影响

2.1 批量大小的概念

批量大小指的是小批量的大小，即前向传播中用于计算小批量平均损失的完整训练集的一个子集。根据这个损失，我们使用反向传播来更新权重和偏置。处理一个小批量会导致一次梯度下降步骤，即对网络参数进行一次更新。

2.2 sklearn训练过程分析

以下是sklearn中 MLPClassifier 类的 _fit_stochastic 方法的代码：

for it in range(self.max_iter):
    X, y = shuffle(X, y, random_state=self._random_state)
    accumulated_loss = 0.0
    for batch_slice in gen_batches(n_samples, batch_size):
        activations[0] = X[batch_slice]
        batch_loss, coef_grads, intercept_grads = s