35、线性回归模型：基础与最大似然估计

线性回归模型：基础与最大似然估计

1. 基础函数概述

在回归分析中，基础函数是构建模型的重要元素。常见的基础函数包括多项式函数、高斯函数和S形函数。以下是这些基础函数的示例：
| 基础函数类型 | 特点 |
| ---- | ---- |
| 多项式函数 | 形式较为简单，常用于拟合数据的趋势 |
| 高斯函数 | 具有特定的分布形式，可用于描述数据的局部特征 |
| S形函数 | 常用于处理具有非线性关系的数据 |

在很多情况下，讨论并不依赖于特定的基础函数集。为了简化符号，我们主要关注单个目标变量 (t) 的情况。不过，在处理多个目标变量时，需要对模型进行相应的修改。

2. 最大似然与最小二乘法

在之前的分析中，我们通过最小化误差平方和函数来拟合多项式函数到数据集。这个误差函数可以在假设高斯噪声模型的情况下，作为最大似然解的动机。下面我们详细讨论最小二乘法及其与最大似然的关系。

2.1 模型假设

假设目标变量 (t) 由确定性函数 (y(x, w)) 加上高斯噪声 (\epsilon) 组成，即：
[t = y(x, w) + \epsilon]
其中，(\epsilon) 是均值为零、精度为 (\beta)（方差的倒数）的高斯随机变量。因此，我们可以将 (t) 的条件概率分布表示为：
[p(t|x, w, \beta) = N(t|y(x, w), \beta^{-1})]

在平方损失函数的假设下，对于新的 (x) 值，最优预测是目标变量的条件均值。对于上述高斯条件分布，条件均值为：
[E[t|x]