《Deep Learning (Ian Goodfellow)》概率与信息论

概率与信息论

1. 部分数学概念

• 频率派（frequentist）

  • 频率学派从「自然」角度出发，试图直接为「事件」本身建模。

  • 频率派发展出来的模型，一般来说叫做统计机器学习，实际上是一个优化问题：

  1. 设计模型（概率模型、非概率模型、判别模型等）
  2. 设计一个损失函数（loss function）
  3. 具体的算法（algorithm）（梯度下降、牛顿法等）

• 贝叶斯派（Bayesian）

  • 贝叶斯学派并不从试图刻画「事件」本身，而从「观察者」角度出发，为「观察者」的知识建模来定义「概率」这个概念。

  • 贝叶斯发展出来的模型就是概率图模型，本质上就是求积分的问题，解析解求不出来一般就用数值积分（蒙特卡罗MCMC）的方法来求积分

  • 贝叶斯规则（Bayes’s rule）
    $$P(\theta \mid X)=\frac{P(X\mid \theta )\cdot P(\theta )}{P(X)}$$（$X$是数据，$\theta$是参数）
    （对应的可以看成：后验概率=极大似然估计*先验概率/常数）

  • 极大似然估计（MLE）：
    $${\theta }_{\text{MLE}}=\underset{\theta }{\mathrm{argmax}}\log P(X\mid \theta )$$

  • 最大后验估计（MAP）：
    $${\theta }_{\text{MAP}}=\underset{\theta }{\mathrm{argmax}}P(\theta \mid X)=\underset{\theta }{\mathrm{argmax}}P(X\mid \theta )\cdot P(\theta )$$（因为分母项与$\theta$无关）

  • 贝叶斯预测：
    $$\begin{array}{rl}p(x\mid X)& ={\int }_{\theta }p(x,\theta \mid X)d\theta \\ & ={\int }_{\theta }p(x\mid \theta )p(\theta \mid X)d\theta \end{array}$$（$x$新的样本，也就是要预测的样本）
    （把$X$和$x$的直接关系解构成$X$和$\theta$,$\theta$和$x$的关系）

• 高斯分布（Gaussian distribution）

  • 实数上最常用的分布就是正态分布（normal distribution），也称为高斯分布：$$\mathcal{N}\left(x;\mu ,{\sigma }^2\right)=\sqrt{\frac{1}{2\pi {\sigma }^2}}\exp \left(-\frac{1}{2{\sigma }^2}(x-\mu {)}^2\right)$$
  • 正态分布可以推广到${\mathbb{R}}^n$空间，这种情况下被称为多维正态分布（multivariate normal distribution）:$$\mathcal{N}(x;\mu ,\Sigma )=\sqrt{\frac{1}{(2\pi {)}^n\det (\Sigma )}}\exp \left(-\frac{1}{2}(x-\mu {)}^{\top }{\Sigma }^{-1}(x-\mu )\right)$$（参数是一个正定对称矩阵$\Sigma$）

• 待补充。。。
  看了个大概，没有系统性的学习，后续遇到再来补充，最懒康氏懒狗快速学习法（AnoI）。