深度学习相关笔记1

期望 方差 和协方差

• 函数 $f(x)$关于某分布$P(x)$的期望是指当$x$由$P$产生，$f$作用与$x$时，$f(x)$的平均值。表示为:$$E_{x\sim P}[f(x)]=\sum _{x}P(x)f(x)$$

• 协方差衡量两个变量线性相关性的强度:$$Cov(f(x),g(y))=E[(f(x)-E[f(x)])(g(y)-E[g(y)])]$$
  零协方差指不具有线性相关性，独立性指不具有线性和非线性的相关性。

• 潜变量是我们不能直接观察到的随机变量。

• 贝叶斯定理是关于随机事件A和B的条件概率的一則定理。

  $$P(A|B)=\frac{P(A)\times P(B|A)}{P(B)}$$
  其中P(A|B)是指在事件B发生的情况下事件A发生的概率。

  在贝叶斯定理中，每个名词都有约定俗成的名称：

  P(A|B)是已知B发生后A的條件概率，也由于得自B的取值而被称作A的后验概 率。
  P(A)是A的先验概率（或边缘概率）。之所以稱為"先驗"是因為它不考慮任何B方面的因素。
  P(B|A)是已知A发生后B的条件概率，也由于得自A的取值而被稱作B的后验概率。
  P(B)是B的先验概率或边缘概率。

• 香农熵对整个概率分布中的不确定性总量进行量化：$$H(x)=E_{X\sim P}[logP(x)]$$

• 可以把多变量的概率模型分解成却多因子乘积的形式，并使用图来描述这种分解。这种描述称为结构化概率模型或者图模型。

• 实现深度学习算法时，底层库开发者应该牢记数值问题。比如上溢、下溢。

• Goodfelloeetal.(2013d)使用联合概率分布函数将深度学习应用于输入缺失的分类。Fanget al.,2015;Xu et al.,2015为图片加上描述语言。

• 机器学习算法定义为：通过经验以提高计算机程序在某些任务上性能的算法。

• 正则化指修改学习算法，使其减低泛化误差而非训练误差。例如权重衰减，以表明偏好权重小的线性函数。$J(w)=MS{E}_{t}rain+\lambda w^{\top }w$