16、机器学习中的随机梯度下降与支持向量机

机器学习中的随机梯度下降与支持向量机

随机梯度下降（SGD）的劣势

随机梯度下降（SGD）方法存在诸多缺点。其中一个关键劣势是，它需要对优化参数（如学习率和收敛标准）进行大量手动调整。如果你对当前任务了解不足，就很难找到合适的学习率或收敛标准。在这种情况下，一种标准策略是使用多个优化参数运行学习算法，并选择在验证集上表现最佳的模型。由于需要在可能的优化参数的大空间中进行搜索，这使得在多次运行优化过程计算成本高昂的情况下，SGD 难以训练。

模型超参数的正则化与调整

在神经网络建模中，最具挑战性的部分之一是找到使损失函数最小化的模型参数。随着模型复杂度的增加，由于过拟合和多重共线性问题，其预测能力往往会在某一点之后下降。因此，得到的模型通常不能很好地泛化到新数据，并且参数估计不稳定。SAS Viya 中的一些机器学习程序提供了自动调优（Autotune）选项，该选项可以搜索超参数的最优组合，以在特定条件下拟合最佳模型。

学习率

学习率是一个训练参数，用于控制训练算法学习过程中权重和偏置的变化大小。神经网络通常采用权重衰减方法进行训练，即在每次迭代中，计算损失函数相对于每个权重的导数，并将其从该权重中减去。然而，这样做可能导致每次迭代中权重变化过大，使权重变得过大，从而导致模型过拟合。为避免这种情况，可以在从相应权重中减去导数之前，将每个导数乘以一个小值，即上述的学习率。

学习率的设置非常关键。设置过高，在最初的几次迭代中能显著降低误差函数，但在训练过程后期有发散的风险；设置过低，则会导致训练时间过长。一个“合适”的学习率是两者之间的平衡，且因问题而异。

学习率调度是优化学习过程的一种方法，其思路是先用较大的学习