深度学习——概率与信息论

概率论的AI应用：概率告诉我们AI如何推理

                             从理论上分析AI系统的行为

一、为什么使用概率

1、使用概率论量化不确定性

2、不确定性的三种可能来源

建模系统中的随机性

不完全观测

不完全建模

二、随机变量

1、随机变量：可以随机取不同值。可以是离散的或者连续的

三、概率分布

1、描述随机变量获取到可能状态的可能性大小

     描述概率分布的方式，取决于随机变量是离散还是连续

2、离散型随机变量和概率分布律

离散型随机变量的概率分布，用概率质量函数（概率分布律）表示

3、联合概率分布

多个随机变量的概率分布

4、连续性随机变量和概率密度

四、边缘概率

1、联合概率分布中，子集的概率分布

五、条件概率

1、条件概率的链式法则

任何多维随机变量的联合概率分布，都可以分解成只有一个变量的条件概率相乘的形式

六、独立性和条件独立性

七、期望、方差、协方差

1、期望：均值

2、方差：取值和期望的差异

3、协方差：线性相关性强度。协方差和相关性有关。如果两个变量相互独立则协方差为零。如果两个变量协方差不为零则一定相关。独立性比零协方差的要求要强。可能存在两个变量非独立，且协方差为零。

八、信息论

1、信息论的基本想法，一个不太可能发生的事情发生了比一个非常可能发生的事情发生了。

      信息论，用来量化信息。