13、梯度下降与多项式回归：从线性到非线性建模

梯度下降与多项式回归：从线性到非线性建模

1. 梯度下降算法概述

梯度下降是一种优化算法，用于寻找使成本函数最小化的模型参数组合。然而，在使用梯度下降时，需要确保所有特征具有相似的尺度（例如，使用Scikit - Learn的 StandardScaler 类），否则收敛时间会大大增加。

2. 批量梯度下降（Batch Gradient Descent）

• 原理 ：要实现梯度下降，需要计算成本函数关于每个模型参数$\theta_j$的梯度，即偏导数。可以通过以下公式计算：
  • 成本函数关于参数$\theta_j$的偏导数：
    $\frac{\partial}{\partial\theta_j}MSE(\theta)=\frac{2}{m}\sum_{i = 1}^{m}(\theta^{\top}x^{(i)}-y^{(i)})x_j^{(i)}$
  • 成本函数的梯度向量：
    $\nabla_{\theta}MSE(\theta)=\begin{bmatrix}\frac{\partial}{\partial\theta_0}MSE(\theta)\\frac{\partial}{\partial\theta_1}MSE(\theta)\\vdots\\frac{\partial}{\partial\theta_n}MSE(\theta)\end{bmatrix}=\frac{2}{m}X^{\top}(X\theta - y)$
• 特点 ：该