关于统计学的基本概念的自学笔记

No.1 方差、协方差、协方差矩阵

方差

• 方差提供的是样本中数据与均值在数值上差距的情况信息，通俗的说就是样本数据集不集中。
  

  $$s^2= \sqrt{\frac{\begin{matrix} \sum_{i=1}^n{(x_i-\overline{x})^2} \end{matrix}}{n-1}}$$

协方差

• 协方差反映的是不同类型的两组样本数据之间的关系。
  例如：cov的值为正数，说明正相关-> x越怎样，y就越怎样；cov的值为负数，说明负相关：x越怎样，y就越不怎样；cov的值为0,则说明没有关系。

  $$cov(X,Y)=\frac{\begin{matrix} \sum_{i=1}^n{(x_i-\bar{x})(y_i-\bar{y})} \end{matrix}}{n-1}$$

• 协方差矩阵则反映的是三个及以上的样本数据组之间的相关性信息。
  协方差矩阵主对角线上是方差信息，其他反映的是协方差信息，且各样本数据两两之间的相关信息均可以从协方差矩阵里面读出来。

  $$C=\begin{Bmatrix} cov(x_1,x_1) & cov(x_1,x_2) &cov(x_1,x_3)\\ cov(x_2,x_1) & cov(x_2,x_2) &cov(x_2,x_3)\\ cov(x_3,x_1) & cov(x_3,x_2) &cov(x_3,x_3) \end{Bmatrix}$$

NO.2 主成分分析

先明白这几个概念：

• 数据样本：具有p个采样所关心特性的一类事物的数值描述，例如：人的身高、体重、性别、居住地等特性的数据组合。那么一个人的这些数据的组合叫一个样本。每个特性就是一个变量，记为：$X_i(i=1,2,3,\ldots,p)$，每个$X_i$包含n个数据，n即为样本数据的个数。

• 标准化指z_score规范化（正态化），即将原始数据处理成均值为0，方差为1的标准数据，此时$X_i$变为$Z_i$。方法如下：

  $$z_{ij}=\frac{x_{ij}-\bar{x_j}}{\sigma_j}(i,j=1,2,3,\ldots,n)$$
  (1) $x_{ij}$表示第i个数据样本的第j个指标；
  (2) $\bar{x_j}$表示所有n个数据样本的第j个指标的值的平均值；
  (3 $\sigma_j$表示第j个指标的标准差；

• 相关矩阵就是相关系数矩阵
  1.经标准化的样本数据$z_{ij}$的协方差矩阵就是原始样本数据的相关矩阵$r_{ij}$，其中 $i,j=1,2,3,\ldots,p$ ，计算协方差时，不再考虑n个样本数，而是考虑成$Z_i$变量之间的关系。
  2.相关矩阵是对称矩阵，其一定是满秩，故一定有p个特征值$\lambda_i(i=1,2,3,\ldots,p)$，p个特征向量$e_i(i=1,2,3,\ldots,p)$，即一个特征值对应一个特征向量。
  3.特征向量 $e_i=(e_{i1},e_{i2},\ldots,e_{ij},\ldots,e_{ip})$，其中$e_{ij}$表示$e_i$的第j维上的分量，满足$\sum_{j=1}^pe_{ij}^2 = 1$，即$\rVert e_i \rVert = 1$。（说明已经正交化）

主成分分析所关心的几个概念

• 方差贡献率:$\frac{\lambda_k}{\sum_{k=1}^p \lambda_k}$、累计方差贡献率:$\frac{\sum_{k=1}^i\lambda_k}{\sum_{k=1}^p \lambda_k}(i=1,2,3,\ldots,p)$
  目的：为了确定综合变量个数m，取累计方差贡献>85%时候的个数

• 主成分表达式：$Y_i=\sum_{j=1}^pe_{ij}\cdot Z_j(i,j=1,2,3,\ldots,n)$