数学笔记1_协方差矩阵公式是xtx-优快云博客

本文链接：https://blog.youkuaiyun.com/qq_42888201/article/details/134021368

1、均值、标准差、方差

均值、期望：估算样品集合的平均水平
$\overline{\text{X}}=\dfrac{\sum_{i=1}^nX_i}{n}$
标准差：
$s=\sqrt{\dfrac{\sum_{i=1}^n(X_i-\overline{X})^2}{n-1}}$
方差：估算样品集合的散步度，单元维度偏离其均值的程度
$s^2=\dfrac{\sum_{i=1}^n(X_i-\overline{X})^2}{n-1}$

2、协方差

协方差（covariance）：模拟方差的定义，度量各个维度偏离其均值的程度
$cov(X,Y)=\dfrac{\sum_{i=1}^n(X_i-\overline{X})(Y_i-\overline{Y})}{n-1}$
通俗理解：方差是计算一个班级每个人身高的离散程度之和。协方差是计算一个班级每个人（i=0,1,2…）的身高和体重（两个变量）的相互影响，然后求和。
其他公式：（E表示数学期望）
$Cov(X_i,X_j)=E[(X_i-E[X_i])(X_j-E[X_j])]$

2.1、协方差矩阵

描述多个随机变量之间的协方差的方阵。协方差是两个随机变量的线性相关程度的度量。

如果有n个随机变量 $X_1,X_2,…,X_n$ ，那么它们的协方差矩阵 $\sum$ 可以表示为：
$\sum= \begin{bmatrix} Cov(X_1,X_1)&Cov(X_1,X_2) & \cdots & Cov(X_1,X_n)\\ Cov(X_2,X_1)&Cov(X_2,X_2) & \cdots & Cov(X_1,X_n)\\ \vdots & \vdots & \ddots & \vdots\\ Cov(X_n,X_1)&Cov(X_n,X_2) & \cdots & Cov(X_n,X_n) \end{bmatrix} \tag{c}$

2.1.1、协方差矩阵奇异值分解（SVD）

将X的转置（ $X^T$ ）与X相乘，等效于计算X和X在每个维度上对应坐标的内积。
内积反映两个向量在某个维度上的相似程度，越相似内积越大
因此 $X^TX$ 的每个元素就是X和X在该维度上坐标的协方差（还没很理解enmm）

协方差矩阵是一个描述两个或多个随机变量之间的线性关系的矩阵，它的元素是各对随机变量之间的协方差。协方差矩阵可以进行奇异分解（SVD），参考下面SVD解析，假设X是一个np的数据矩阵，每一行是一个p维的观测值，每一列斯一个n维的变量，那么X的协方差矩阵S可以写为： $S=\dfrac{1}{n-1}X^TX$
S的奇异值分解可以写为：
$S=U\sum V^T$
其中，U、V都是p*p的正交矩阵（ $U^TU=VV^T=I$ ， $I$ 是单位矩阵）， $\sum$ 是pp的对角矩阵（ $\sum=diag(\sigma_1,\sigma_2,…,\sigma_p$ ， $\sigma_i$ 是S的第i个奇异值，按降序排列）。

奇异值分解的几何意义是将原始数据在一个新的坐标系下展开，即各个主成分之间没有线性相关性。

$\sum$ 表示各个主成分对数据方差的贡献，越大的奇异值对应越重要的主成分;
V表示原始数据在新坐标下的投影;

$\sum$ 是主成分对数据方差的贡献，也就是各主成分的长度。它们不是权重，因为它们不一定加起来等于1。

2.1.2、多维度高斯分布

（这部分有些云里雾里，先记下后面再看）
多维高斯分布有2个参数：
$\mu$ ：可以用所有样品的均值来估计，代表总体数据的平均值
$\sum$ ：就是上述协方差矩阵，代表不同维度的相关联程度
在这里插入图片描述

3、奇异值分解（SVD）

参考：https://zhuanlan.zhihu.com/p/448767610?utm_id=0
奇异值分解（SVD，Singular Value Decomposition），主要思想就是主成分分解，求解奇异值。奇异值分解可以看作是对矩阵S进行一个旋转、缩放和再旋转的操作，使得S变成一个对角矩阵。这样可以提取出S的主要特征，例如方向、变化程度和线性相关性。

粗俗理解就是一个矩阵(A)转化为3个矩阵( $U、\sum、V^T$ )乘积：
$A=U\sum V^T$
其中：
A：M*N的矩阵；
$U$ ：M*M的正交矩阵（即 $U^TU=I$ ）， $U=AA^T$ ；
$\sum$ ：M*N的对角矩阵（除主对角线全部是0），主对角线每个元素为奇异值
V：N*N的正交矩阵， $V^T=A^TA$

在这里插入图片描述

4、傅里叶变换

傅里叶（Fourier）变换，简称DFT变换（更准确应该叫离散傅里叶变换），是把满足某些条件的函数表示为三角函数（正弦函数/余弦函数）或它们积分的线性组合，傅里叶变换是对傅里叶级数控制到有限的有限序列长后的离散化。

满足一定条件的函数通过一定的分解，可延拓为周期为l的函数，进一步展开为傅里叶级数，即：

$f(x)=\dfrac{a_0}{2}+\sum^\infin_{n=1}(a_ncos\dfrac{n\pi x}{l}+b_nsin\dfrac{n\pi x}{l})$
其中，系数 $a_n$ ， $b_n$ :

$a_n=\dfrac 1 l \int_{-l}^l f(x)cos\dfrac{n\pi x}{l}dx,(n=0,1,2,…)$
$b_n=\dfrac 1 l \int_{-l}^l f(x)sin\dfrac{n\pi x}{l}dx,(n=1,2,…)$

4.1、一维DFT变换

一元连续函数f(x)的傅里叶变换F(u)：
$F(u)=\int_{-\infin}^\infin f(x)e^{-j2\pi ux}dx$
F(u)的傅里叶反变换为：
$f(x)=\int_{-\infin}^\infin F(u)e^{-j2\pi ux}du$

4.1.1、一维离散傅里叶变换

对上述 $f (x)$ 进行等间隔采样，设采样了N个样本，这离散序列可表示为 ${f(0),f(1),…,f(N-1)\}$ ，记x为离散实变量，u为离散频率变量。

一维离散傅里叶变换：
$F(u)=\sum_{x=0}^{N-1}f(x)e^{-j2\pi ux/N},u=0,1,2,…,N-1$
F(u)对反变换：
$f(x)=\dfrac{1}{N}\sum_{x=0}^{N-1}F(u)e^{j2\pi ux/N},x=0,1,2,…,N-1$

5、插值

5.1、最邻近插值（The nearest interpolation）

可以理解为线性插值+选取最邻近的像素，甚至没有插值运算，用处不大
在这里插入图片描述

5.2、线性插值

仅在一维空间上进行插值（就是一条直线上）。如下图，已知A、B两点坐标，可以通过公式 $\dfrac{y-y_0}{y_1-y_0}=\dfrac{x-x_0}{x_1-x_0}$ 求出函数表达式，再进行插值。
在这里插入图片描述

5.3、双线性插值

就是做了2次线性插值，如下图，已知 $A_{00}、A_{01}、A_{10}、A_{11}$ 四个点坐标，求Q点坐标(x, y)？

在这里插入图片描述

$\dfrac{y-y_0}{y_1-y_0}=\dfrac{x-x_0}{x_1-x_0}$ 可以将 $y_0、y_1$ 提取出来，简化为：
$y=\dfrac{x_1-x}{x_1-x_0}y_0+\dfrac{x-x_0}{x_1-x_0}y_1$
先通过 $A_{00}、A_{10}$ 求B0的坐标（这里一次线性插值就行了），通过 $A_{01}、A_{11}$ 求B1的坐标
$B0(x,y)≈\dfrac{x_1-x}{x_1-x_0}A_{00}+\dfrac{x-x_0}{x_1-x_0}A_{10}$
$B1(x,y)≈\dfrac{x_1-x}{x_1-x_0}A_{01}+\dfrac{x-x_0}{x_1-x_0}A_{11}$
Q点坐标可以通过 $B_0、B_1$ 求得：
$Q(x,y)≈\dfrac{y_1-y}{y_1-y_0}B_{0}+\dfrac{y-y_0}{y_1-y_0}B_{1}$
将2代入3中，化简得：
$Q(x,y)≈\dfrac{y_1-y}{y_1-y_0}B_{0}+\dfrac{y-y_0}{y_1-y_0}B_{1}\\≈\dfrac{y_1-y}{y_1-y_0}(\dfrac{x_1-x}{x_1-x_0}A_{00}+\dfrac{x-x_0}{x_1-x_0}A_{10})+\dfrac{y-y_0}{y_1-y_0}(\dfrac{x_1-x}{x_1-x_0}A_{01}+\dfrac{x-x_0}{x_1-x_0}A_{11})$
双线性插值只会使用相邻4个点，因此4中的分母都是1

另外，从一幅MxM的图像，插值生成一幅NxN的图像。当需要求出生成图像的坐标（x, y）所对应的原图像坐标是多少时，求出来的原图像坐标很可能会有小数。我们可以分别计算两幅图像的理论上几何中心点坐标（可能是浮点数），然后2幅图像中心点坐标的比值为N：M，来计算偏移。

原图像坐标 $x_m,y_m), m=0,1,...,M-1$ 。几何中心 $(x_{\frac{M-1}{2}},y_{\frac{M-1}{2}})$
生成图像坐标 $x_n,y_n) ,n=0,1,...,N-1$ 。几何中心 $(x_{\frac{N-1}{2}},y_{\frac{N-1}{2}})$

方法1：