79、神经网络相关知识与练习解析

神经网络相关知识与练习解析

1. 拉普拉斯近似在贝叶斯神经网络中的应用

拉普拉斯近似在贝叶斯神经网络中有着重要的应用。以一个具有8个隐藏单元（使用 tanh 激活函数）和一个逻辑Sigmoid输出单元的贝叶斯神经网络为例，权重参数通过缩放共轭梯度法求得，超参数α通过证据框架进行优化。

在图中，左边是基于参数的点估计$w_{MAP}$使用简单近似（5.185）的结果，其中绿色曲线表示$y = 0.5$的决策边界，其他轮廓对应输出概率$y = 0.1, 0.3, 0.7$和$0.9$。右边是使用（5.190）得到的相应结果。需要注意的是，边缘化的效果是使轮廓分散开，并使预测的置信度降低，即在每个输入点$x$处，后验概率会向0.5偏移，而$y = 0.5$的轮廓本身不受影响。

由于高斯分布与逻辑Sigmoid函数的卷积难以处理，所以应用近似（4.153）到（5.189），得到：
$p(t = 1|x, D) = \sigma(\kappa(\sigma^2_a)a_{MAP})$ （5.190）
其中，$\kappa(·)$由（4.154）定义，且$\sigma^2_a$和$b$都是$x$的函数。

2. 相关练习解析

2.1 两层网络激活函数等价性证明

考虑一个形式为（5.7）的两层网络函数，其中隐藏单元的非线性激活函数$h(·)$为逻辑Sigmoid函数：
$\sigma(a) = {1 + exp(−a)}^{-1}$ （5.191）
要证明存在一个等价网络，其计算的函数完全相同，但隐藏单元激活函数为$tanh(a)$（其中$tanh$函数由（5