machine learning中的概率论名词解释

后验概率

事情还没有发生，要求这件事情发生的可能性的大小，是先验概率。事情已经发生，要求这件事情发生的原因是由某个因素引起的可能性的大小，是后验概率，后验概率的计算，要使用贝叶斯公式。
先验概率仅仅依赖于主观上的经验估计，也就是事先根据已有的知识的推断，在应用贝叶斯理论时，通常将先验概率乘以似然函数（likelihoodfunction）再归一化后，得到后验概率分布，后验概率分布即在已知给定的数据后，对不确定性的条件分布。
后验概率=(似然度先验概率)/标准化常量=标准似然度先验概率

最大似然估计：

现在已经拿到了很多个样本，这些样本值已经实现，最大似然估计就是去找到那个（组）参数估计值，使得前面已经实现的样本值发生概率最大。因为样本已经实现了，其发生概率最大才符合逻辑。这时是求样本所有观测的联合概率最大化，是个连乘积，只要取对数，就变成了线性加总。此时通过对参数求导数，并令一阶导数为零，就可以通过解方程（组），得到最大似然估计值

最小二乘

找到一个（组）估计值，使得实际值与估计值的距离最小。本来用两者差的绝对值汇总并使之最小是最理想的，但绝对值在数学上求最小值比较麻烦，因而替代做法是，找一个（组）估计值，使得实际值与估计值之差的平方加总之后的值最小，称为最小二乘。

方差

方差衡量数据的波动程度
均值：
$$\overline{X}=\frac{1}{n}\sum _{i=1}^n{x}_i$$
方差：
$$s^2=\sqrt{\frac{1}{n-1}\sum _{i=1}^n(x_i-\overline{X}{)}^2}$$
标准差:$s=\sqrt{s^2}$

协方差

方差描述的是其本身数据的情况，如果我们想知道，某2种数据之间的关系，比如，年龄和身高。假设这里有样本集合f(x,y)=(xi,…,yi)，x表示年龄，y表示身高，那么2者之间的关联程度可以这么定义：
$$cov(X,Y)=cov(Y,X)=\frac{1}{n-1}\sum _{i=1}^n(X_1-\overline{X})(Y_i-\overline{Y})$$

• 若X和Y相互独立，则$cov(X,Y)=0$
• $cov(X,X)=D(X)，D(X)方表示方差$
• 若$cov(X,Y)>0，则表示X,Y正相关$相反则负相关。

协方差矩阵

上述协方差描述的是二维，即两个变量之间的关系，如果是三维或者多维的情况则引入协方差矩阵来描述他们的关系。
设有n维随机变量$(X_1,X_2,...,X_n)$
则${\sigma }_{i,j}=cov(X_i,X_j)=E(X_i-E(X_i))E(X_j-E(X_j))$
则协方差矩阵：
$$\Sigma =\left[\begin{array}{cccc}{\sigma }_{11}& {\sigma }_{1,2}& ...& {\sigma }_{1,n}\\ {\sigma }_{21}& {\sigma }_{22}& ...& {\sigma }_{2n}\\ ...& ...& ...& ...\\ {\sigma }_{n1}& {\sigma }_{n,2}& ...& {\sigma }_{n,n}\end{array}\right]$$
由协方差的性质可知，协方差矩阵$\Sigma$是对称矩阵。