12、线性回归：从正规方程到梯度下降的深入解析

线性回归：从正规方程到梯度下降的深入解析

1. 线性回归基础与性能度量

在训练线性回归模型时，我们需要一种方法来衡量模型对训练数据的拟合程度。最常用的回归模型性能度量指标是均方根误差（RMSE），但在实际中，最小化均方误差（MSE）更为简单，因为这两者会得到相同的结果。线性回归假设 $h_{\theta}$ 在训练集 $X$ 上的 MSE 计算公式如下：
[MSE(X, h_{\theta}) = \frac{1}{m}\sum_{i=1}^{m}(\theta^{T}x^{(i)} - y^{(i)})^2]
为简化表示，我们通常将其写为 $MSE(\theta)$。

2. 正规方程求解

为了找到使成本函数最小化的 $\theta$ 值，存在一个封闭形式的解，即正规方程：
[\hat{\theta} = (X^{T}X)^{-1}X^{T}y]
其中，$\hat{\theta}$ 是使成本函数最小化的 $\theta$ 值，$y$ 是包含 $y^{(1)}$ 到 $y^{(m)}$ 的目标值向量。

2.1 生成数据并测试正规方程

我们可以生成一些线性数据来测试正规方程：

import numpy as np

X = 2 * np.random.rand(100, 1)
y = 4 + 3 * X + np.random.randn(100, 1)

接下来，使用正规方程计算 $\hat{\theta}$：