12、监督学习中的贝叶斯技术与高斯过程

监督学习中的贝叶斯技术与高斯过程

1. 监督学习中的贝叶斯技术

1.1 二次近似与相关推导

在监督学习的贝叶斯技术里，通过二次近似有如下关系：
[S(w, D) = S(w_{MP}, D) + \frac{1}{2}(w - w_{MP}) \cdot A(w - w_{MP}) + O(\epsilon^{3/2})]
由此可推出：
[\frac{\partial S(w, D)}{\partial w_i} = \sum_{j} A_{ij}(w_j - w_{MP,j}) + O(\epsilon^{3/2})]
进而得到：
[w(t + \epsilon) = w(t) - \epsilon A(w - w_{MP}) + O(\epsilon^{3/2})]
以及：
[C_{ij}(t + \epsilon) = C_{ij}(t) + \epsilon \left(2\delta_{ij} - \left[w_i(t) \sum_{k} A_{jk}(w_k(t) - w_{MP,k})\right] + w_i(t) \sum_{k} A_{jk}(w_k - w_{MP,k}) - \left[w_j(t) \sum_{k} A_{ik}(w_k(t) - w_{MP,k})\right] + w_j(t) \sum_{k} A_{ik}(w_k - w_{MP,k})\right) + O(\epsilon^{3/2})]
利用矩阵 (A) 和 (C) 的对称性，可得到简单结果：
[C(t + \epsilon) = C(t) + \epsilon[2I - CA - AC] + O(\