13、回归问题损失函数推导与概率深度学习模型构建

回归问题损失函数推导与概率深度学习模型构建

1. 回归问题损失函数推导回顾

我们先回顾一下之前所做的工作。首先，我们使用神经网络（NN）来确定概率分布的参数。其次，我们选择了正态分布来对数据进行建模。正态概率分布有两个参数：μ 和 σ。我们将 σ 固定，仅使用最简单的线性回归模型来对 μxi 进行建模：

对应于 x 值（年龄）的 y 值（收缩压，SBP）呈正态分布：

这表示 Y 是一个来自均值为 μxi、标准差为 σ 的正态分布的随机变量。我们可以通过以下几种方式扩展这种方法：
1. 选择不同的概率分布 ：正态分布并非在所有情况下都适用。例如，计数数据不能有负值，但正态分布包含负值。
2. 使用全功能神经网络 ：用全功能的神经网络代替线性回归来建模 μxi。
3. 不假设数据变异性恒定 ：可以让神经网络对 σ 进行建模，允许不确定性增加。

2. 使用带隐藏层的神经网络建模非线性关系

没有隐藏层的神经网络（如图 4.11）只能建模输入和输出之间的线性关系：out = a · x + b。现在可以扩展这个模型，使用带有一个或多个隐藏层的神经网络来建模 μx。假设方差 σ² 是恒定的，使用图 4.15 中的神经网络，可以为每个输入 x 建模整个条件概率分布（CPD）：

如果在神经网络中添加至少一个隐藏层，会发现这些 CPD 的均值 μxi 不需要沿着一条直线分布（如图 4.15）。在清单 4.5 中，可以看到如何从一个正弦形状的函数中模拟一些数据，并使用具有三个隐藏层和均方误差（M