deeplearn学习笔记1.26

day2

上次小小的复习了线性代数的一些知识，这次准备复习一下概率论的一些知识

1.为什么使用概率

不确定有三种可能的来源:

1.1.被建模系统内在的随机性

1.2.不完全观测

1.3.不完全建模

频率派概率:用频率来反应概率 

贝叶斯概率:用概率来表示一种信任度

2.随机变量:是可以随机地取不同值的变量

3.概率分布:用来描述随机变量或者一簇随机变量在每一个可能取到的状态的可能性大小。我们描述概率分布的方式取决于随机变量是离散的还是连续的。

ps PMF（probabi’lity mass function）概率质量函数

3.1.离散型变量和概率质量函数

3.2.连续型变量和概率密度函数

4.边缘密度

5.条件概率

6.条件概率的链式法则或者条件概率 $$P(x^{(1)},...,x^{(n)}=P(x^{(1)})\prod_{i=2}^{n}{P(x^{i}|x^{1},...,x^{(i-1)})})$$

7.独立性和条件独立性

8.期望、方差、协方差

9.常用的概率分布

9.1.Bernouli分布（伯努利分布）

9.2.Multinoulli (多项式分布)

9.3.高斯分布（正态分布）另外还有标准正态分布，另外正太分布还可以推广到多维。

9.4.指数分布和Laplace分布(拉普拉斯分布)

9.5.Dirac分布和经验分布

9.6.分布的混合

10.常用函数的有用性质

某些函数在处理概率分布时经常会出现，尤其是深度学习的模型中用到的概率分布。

10.1.logistic sigmoid函数

10.2.softplus函数

这几个函数有几个性质P44-p45

11.贝叶斯规则

我们经常会需要在已知P(y|x)时计算P(x|y)。幸运的是，如果还知道P(x)，我们可以通过贝叶斯规则来实现 $$P(x|y) = \frac{P(x)P(y|x)}{P(y)}$$

另外上面的$P(y)$ 可以通过 $P(y) = \sum_{x}{P(y|x)P(x)}$

12.连续型变量的技术细节

13.信息论

概率论的知识大概复习到这里，明天复习数值计算的知识。