40、贝叶斯线性回归中的等效核：原理与应用

贝叶斯线性回归中的等效核：原理与应用

1. 等效核的引入与定义

在回归分析领域，线性基函数模型的后验均值解有着独特的意义，它为核方法（包括高斯过程）奠定了基础。当我们将后验均值解（公式 3.53）代入到表达式（3.3）中时，预测均值可以写成如下形式：
[y(x, m_N) = m_N^T\varphi(x) = \beta\varphi(x)^TS_N\Phi^Tt = \sum_{n = 1}^{N} \beta\varphi(x)^TS_N\varphi(x_n)t_n]
这里的 (S_N) 由公式（3.51）定义。由此可见，预测分布在某点 (x) 处的均值是训练集目标变量 (t_n) 的线性组合，我们可以进一步将其表示为：
[y(x, m_N) = \sum_{n = 1}^{N} k(x, x_n)t_n]
其中，函数
[k(x, x’) = \beta\varphi(x)^TS_N\varphi(x’)]
被称为平滑矩阵或等效核。像这样通过对训练集目标值进行线性组合来进行预测的回归函数，被称为线性平滑器。需要注意的是，等效核依赖于数据集的输入值 (x_n)，因为它们出现在 (S_N) 的定义中。

2. 等效核的可视化与特性

以高斯基函数为例，等效核函数 (k(x, x’)) 可以通过绘制 (x) 与 (x’) 的关系图来展示。在图 3.10 中，针对三个不同的 (x) 值，绘制了 (k(x, x’)) 关于 (x’) 的函数图像。从这些图像中我们可以发现，等效核在 (x) 附近是局部化的。这意味着预测分布在 (x) 处的均值 (y(x, m_N)) 是通过对目标值进行加权组合得到的，其中靠近 (x) 的数据点比远离 (