线性回归——高斯噪声下的最小二乘法

简介：
线性回归是一种广为应用的机器学习算法，它通过拟合一个线性函数来预测因变量与自变量之间的关系。其中，最小二乘法是一种常见的求解线性回归模型的方法。本文将探讨最小二乘法的概率解释，特别是在存在高斯噪声的情况下。

1. 线性回归模型
   线性回归模型假设因变量 y 与自变量 x 之间存在线性关系，即：
   y = wx + b
   其中 w 是权重（斜率），b 是偏置（截距）。

2. 最小二乘法
   最小二乘法的目标是找到一组最佳的模型参数 w 和 b，使得预测值 y_hat 与真实值 y 之间的平方差最小。具体而言，我们需要最小化损失函数：
   L(w, b) = (y - y_hat)^2

3. 概率解释
   从概率的角度看，线性回归模型可以被看作是在给定输入 x 的条件下，因变量 y 的条件概率分布的参数估计问题。假设真实的数据生成过程可以由以下模型表示：
   y = wx + b + ε
   其中，ε 是服从均值为 0、方差为 σ^2 的高斯噪声。

4. 极大似然估计
   为了使用概率解释来得到最小二乘法的求解过程，我们可以基于极大似然估计来推导损失函数。首先，我们假设观测数据 y 是从一个服从高斯分布的真实模型中采样得到的。概率密度函数为：
   p(y|x, w, b, σ^2) = (1 / √(2πσ^2)) * exp(-((y - wx - b)^2 / (2σ^2)))

5. 对数似然函数
   接下来，我们对似然函数取对数，便于数学推导和计算。对数似然函数为：
   log L = log Π p(y|x, w, b, σ^2) = -