99、贝叶斯网络与图形模型：原理、应用与参数优化

贝叶斯网络与图形模型：原理、应用与参数优化

1. 多项式回归模型与预测分布

在概率模型中，多项式回归模型是一种常见的工具。对于多项式回归模型，我们常常需要得到特定输入值对应的预测分布。例如，给定新的输入值 $bx$，我们希望得到对应的模型预测值 $bt$ 的预测分布。

从概率的求和规则出发，通过对模型参数 $w$ 进行积分，可以得到所需的预测分布：
[p(bt|bx, x, t, \alpha, \sigma^2) \propto \int p(bt, t, w|bx, x, \alpha, \sigma^2) dw]
这里，我们将数据集中观察到的随机变量 $t$ 设置为具体的值。

2. 生成模型与祖先采样

在很多情况下，我们需要从给定的概率分布中抽取样本。祖先采样是一种与图形模型特别相关的采样技术。考虑一个由 $K$ 个变量组成的联合分布 $p(x_1, \ldots, x_K)$，它可以根据有向无环图进行因式分解。

2.1 祖先采样步骤

1. 从编号最低的节点开始，从分布 $p(x_1)$ 中抽取一个样本，记为 $\hat{x}_1$。
2. 按顺序处理每个节点，对于节点 $n$，从条件分布 $p(x_n|p_{an})$ 中抽取一个样本，其中父变量已设置为其采样值。
3. 当对最后一个变量 $x_K$ 进行采样后，我们就得到了联合分布的一个样本。

2.2 抽取边际分布样本

要从对应于变量子集的边际分布中抽取样本，我们只需取所需节点的采样值，忽略其余节点的采样值。例如，要从分布 $p(x_