11、监督学习中的贝叶斯技术：预测、模型选择与曲率测量

监督学习中的贝叶斯技术：预测、模型选择与曲率测量

1. 带误差条的预测：二元分类

1.1 与训练数据的一致性

在监督学习里，预测结果和训练数据的统计特性相符。以下是相关数据：
| 实际数据 | (t^∗(ξ_µ) ± \Delta t^∗(ξ_µ)) |
| — | — |
| (t_1) | (3/4)，(1/2 ± 1/4) |
| (t_2) | (1/4)，(1/2 ± 1/4) |
| (t_3) | (-1/4)，(-1/2 ± 1/4) |
| (t_4) | (-3/4)，(-1/2 ± 1/4) |

从公式可知，当对远离原点（训练数据集中的区域）的输入向量进行预测时，模型会合理地赋予更大的误差条。

1.2 二元分类预测

基于有噪声的数据样本进行二元分类预测，其方式和回归类似。在贝叶斯框架下，训练好的网络由系统参数的后验分布 (p(w|D)) 表示，预测依据如下公式：
[p(t|ξ, D) = \int dw p(t|ξ, w)p(w|D)]
[p(w|D) = \frac{p(w) \prod_{µ=1}^{p} p(t_µ|ξ_µ, w)}{\int dw’ p(w’) \prod_{µ=1}^{p} p(t_µ|ξ_µ, w’)}]

和回归的唯一区别在于，由于要从连续参数化函数中提取二元输出，输出噪声不能是高斯分布。

1.3 输出概率函数

没有输出噪声时，可定义确定性二元操作 (t(ξ) = sgn(f(ξ; w)))。加入噪声后，即便 (f(ξ; w) > 0)