DeepLearning学习笔记——极大似然估计

参数估计不同于估计。

日常所说的估计一般是通过样本分布估计总体的分布，如用样本集的均值作为总体的期望。

参数估计也不同于非参数估计。

在参数估计中，模型是假设已知的，估计得参数后就可得完整模型；而非参数估计中是未知的。在以下参数估计的讨论中，皆假设模型是已知的，参数是未知的。

而对于参数估计，我们希望通过某些方法，通过给定样本集$\mathcal{D}$估计假定模型的参数。极大似然估计就可以帮我们从参数空间中选择参数，使该参数下的模型产生$\mathcal{D}$的概率最大（最似然的）。

• 对于判别模型，就对于$y=f(x|\theta)$，假定$f$（如假设为线性回归），通过$x$和$y$估计$\theta$。
• 对于生成模型，就对于$p_{data}(x;\theta) \rightarrow \mathcal{D}$，假定$p$(如假设为正态分布)，通过$\mathcal{D}$估计$\theta$。

生成模型下的极大似然估计

  考虑一组含有m个样本的数据集$X = \left \{ x^{(1)}, ..., x^{(m)} \right \}$，由$p_{data}(x)$生成，独立同分布。

  既然样本由隐含分布$p_{data}(x)$生成，那么该分布就可以通过隐含的参数$\theta$完整表达。待求模型$p_{model}(x; \theta)$就是一簇由