机器学习概率论相关知识了解一下

条件概率和独立

1. 如果A发生的概率依赖于B，所以A和B同时发生的概率：$P(AB)=P(A|B)P(B)$；如果用$P(A|\overline B)$ 表示B不发生时A发生的概率，则$P(A)=P(A|B)P(B)+P(A|\overline B)(1-P(B))$;
2. 如果A发生的概率和B毫无关系，$P(A|B)=P(A)P(B)$

---

期望值和方差、协方差

1. 期望值：变量值与其对应概率的乘积在整个定义域的求和，通俗点说，就是在长时间重复观测下，目标数据的平均值。$E[X]=\sum_{i=1}^n x_iP(x_i)$
2. 方差：$Var(X)=E[(X-E[X])^2]=E[X^2]-(E[X])^2$，度量的是当个变量的离散程度。
3. 协方差：$cov(X,Y)=E[(X-E[X])(Y-E[Y])]=E[XY]-E[X]E[Y]$,衡量的 是两个变量离散程度的大小以及相互之间的趋势的一致性。当x大于E[X]时，y也大于E[Y]，则协方差大于0，若趋势相反则小于0，如果没有什么关联，则协方差会接近0.所以协方差实际上包含了两个变量之间的统计相关性。

4. 协方差矩阵：实际应用中，通常$X_1,X_2,...,X_n$一组变量，其协方差矩阵定义为：
   

   $$\sum=\left[\begin{matrix}cov(X_1,X_1)&cov(X_1,X_2)&...&cov(X_1,X_n)\\cov(X_2,X_1)&cov(X_2,X_2)&...&cov(X_2,X_n)\\\vdots&\vdots&\ddots&\vdots\\cov(X_n,X_1)&cov(X_n,X_2)&\cdots&cov(X_n,X_n)\end{matrix}\right]$$
   协方差矩阵可以描述方差，还有变量间的趋势相关性，不过不同维度的协方差一栏与两个维度的方差大小，所以可以采用相关系数矩阵，相关性系数矩阵的值等效于将数据做了方差归一化之后的协方差矩阵的值。

   ---

   熵

   衡量分布的无序程度
   

   $$H(X)=E[-\log_2(P(X))]=-\sum_{i=1}^nP(X_i)\log_2(P(x_i))$$

   ---

   最大似然估计

   似然函数：$L(\Theta|X)=P(X|\Theta)$，即给定了观测数据和分布形式，把分布参数作为输入，得到在该组参数下观测到的数据x在该分布下的概率。
   所以，如果给定观测的数据和分布，如何才能找到一组参数，让分布和数据最大程度的拟合？
   

   $$\hat\Theta=arg_\Theta max[L(\Theta|X)]=arg_\Theta max[\prod_{i=1}^nP(x_i|\Theta)]$$