深度学习的一些重点总结

一，变分推断

变分推断通过使用已知简单分布来逼近需推断的复杂分布，并通过限制近似分布的类型，从而得到一种局部最优、但具有确定解的近似后验分布。

在现实生活中，E步对$p(z|x,{\Theta }^t)$的推断很可能因为$\vec{z}$模型的复杂而难以进行，此时可以借助变分推断。通常假设$\vec{z}$服从分布：
$$q(\vec{z})=\prod _{i=1}^M{q}_i({\vec{z}}_i)$$
即假设复杂的多变量$\vec{z}$可以拆解为一系列相互独立的多变量$\overrightarrow{z_i}$，更重要的是可以令$q_i$分布相对简单或有很好的结构，例如可以假设$q_i$为指数族的分布。其中$q_i$是$q_i({\vec{z}}_i)$的简写。这被称为“均值场法”，即我们可以选择$q_i$的形式来选择任何图模型的结构，通过选择变量之间相互作用的多少来灵活地决定近似程度的大小。

在这个假设条件下，我们就可以得到变量子集$z$