PRML第三章读书笔记——Linear Models For Regression 几何解释、多重共线性、贝叶斯线性回归、贝叶斯模型比较/模型证据/边缘似然、线性回归证据近似/参数有效数量

（拖了8个多月，我终于又开始读PRML了。从年初到现在，中间被很多其他事情耽搁了，包括读CVMLI、重学线性代数、刷闫令琪老师的CG Games101、读花书，等等……终于轮到PRML了，开心的一批。这回尽量每周读一章，嗯，尽量……）

3.1 Linear Basis Function Models

P143 线性回归的几何解释

记训练集标注为$\mathbf{t}=({\mathbf{t}}_1,...,{\mathbf{t}}_{\mathbf{N}}{)}^{\mathbf{T}}$，并构成标注空间${\mathbb{R}}^N$，$\mathcal{S}$是能在训练集的标注空间中用广义线性回归张成的超平面

• 这里线性回归的基可以是带核$\phi (X)$的，实际上带核的仍然是张成超平面，而不是曲面，超平面的第$i$个基由${\phi }_i(X)$决定，${\phi }_i$表示第$i$个特征，$X$表示所以的N个数据。
  这样线性回归是求了标注空间中训练集所在位置在超平面上的投影，垂直距离即为最小二乘的结果。
  

P143 多重共线性

之前只知道多重共线性不好，到底哪里不好一直说不清楚。这里把它讲清楚。
多重共线性的灾难在于参数值爆炸。

• 我们记训练集（经过核变换后）为$\Phi \in {\mathbb{R}}^{N\times M}$，其中$M$是特征维度。用$r(\cdot )$表示秩，$r(\Phi )<M$时，即产生了多重共线性问题，也即特征之间线性相关。注意到$r(\Phi )=r({\Phi }^T\Phi )=r(\Phi {\Phi }^T)$，（注：方法为证明$\Phi x=0$与${\Phi }^T\Phi x=0$同解）。所以如何判断$r(\Phi )$与$M$的关系，只需要计算${\Phi }^T\Phi$是否奇异。
• 实际上，如果${\Phi }^T\Phi$接近奇异，即行列式很小，那么线性回归的参数闭式解$({\Phi }^T\Phi {)}^{-1}{\Phi }^T\mathbf{t}$会非常大。
• 从几何角度解释，即两个基向量方向非常近，那么为了表达出与这两个基向量几乎垂直的方向上的位置，这两个向量需要不断抵消，系数会增长非常快！

3.3 Bayesian Linear Regression

参考博客频率学派 vs 贝叶斯学派

P156 贝叶斯线性回归形式化

贝叶斯回归中，不断加样本，精确度矩阵的正定性会越强。
$$\begin{array}{rl}p(\text{t}|\text{X},\text{w},\beta )& =\prod _{n=1}^N(t_n|{\text{w}}^T\varphi ({\text{x}}_n),{\beta }^{-1})\\ p(\text{w})& =\mathcal{N}(\text{w}|{\text{m}}_0,{\text{S}}_0)\end{array}$$
可以得到参数后验分布
$$\begin{array}{rl}p(\text{w}|\text{t})& =\mathcal{N}(\text{w}|{\text{m}}_N,{\text{S}}_N)\\ {\text{m}}_N& ={\text{S}}_N({\text{S}}_0^{-1}{\text{m}}_0+\beta {\Phi }^T\text{t})\\ {\text{S}}_N^{-1}& ={\text{S}}_0^{-1}+\beta {\Phi }^T\Phi \end{array}$$
常取${\text{m}}_0=0$，${\text{S}}_0={\alpha }^{-1}\text{I}$，所以
m N = β S N Φ T t S N − 1 = α I + β Φ T Φ \begin{aligned} \textbf m_N &=\beta \textbf S_N \Phi^T \textbf t \\ \textbf S_N^{-1} &=\alpha \textbf I + \beta \Phi ^T \Phi \end{aligned} mN​SN−1​​=βSN​ΦTt=αI+βΦ