24、生成模型概述

生成模型概述

在机器学习领域，生成模型是一类重要的模型，它能够对数据的分布进行建模。下面我们将深入探讨生成模型的相关知识。

回归定理

假设已知联合概率分布 $p(x, y)$，且 $y$ 是连续的。当使用 $x$ 来预测 $y$ 时，条件均值 $E(y|x)$ 会带来最低的期望风险（使用均方损失）。

证明 ：
对于任何回归问题，我们使用平方损失函数 $l(y, y’) = (y - y’)^2$。那么对于任何规则 $x \to g(x) \in R$，其期望风险为：
[
\begin{align }
R(g) &= E_{p(x,y)}[l(y, g(x))]\
&= \int_{x} \int_{y} (y - g(x))^2 p(x, y) dxdy\
&= \int_{x} \left[ \int_{y} (y - g(x))^2 p(y|x)dy \right] p(x)dx
\end{align }
]
令 $Q(g|x) = \int_{y} (y - g(x))^2 p(y|x)dy$，因为 $p(x) > 0$，所以如果能对每个 $x$ 最小化 $Q(g|x)$，就能整体上最小化 $R(g)$。
对 $Q(g|x)$ 关于 $g$ 求偏导数并令其为 0：
[
\begin{align }
\frac{\partial Q(g|x)}{\partial g(\cdot)} &= 0\
\int_{y} (g(x) - y)