下一篇文章打算好好讨论一下卡尔曼滤波器,在此之前,先需要对相关的前置的知识进行一个复习,主要是概率统计的知识。
1.数学期望
在概率论和统计学中,数学期望(mean)(或均值,亦简称期望)是试验中每次可能结果的概率乘以其结果的总和,是最基本的数学特征之一。它反映随机变量平均取值的大小。
对于离散型的随机变量,数学期望是其各个离散结果的加权平均数,即
E(X)=∑1∞xkpk E(X) = \sum ^\infty_1 x_k p_k E(X)=1∑∞xkpk
对于连续型的随机变量,数学期望是其密度函数f(x)的反常积分,即
E(X)=∫−∞+∞xf(x)dx E(X) = \int ^{+\infty}_{-\infty} xf(x) {\rm d}x E(X)=∫−∞+∞xf(x)dx
数学期望具有以下性质:
① CCC是常数,E(C)=CE(C)=CE(C)=C
② E(aX)=aE(X)E(aX)=aE(X)E(aX)=aE(X)
③ E(X+Y)=E(X)+E(Y)E(X+Y)=E(X)+E(Y)E(X+Y)=E(X)+E(Y)
④ 若XXX和YYY相互独立,则E(XY)=E(X)E(Y)E(XY)=E(X)E(Y)E(XY)=E(X)E(Y)
2.方差
方差是在概率论和统计方差衡量随机变量或一组数据时离散程度的度量。概率论中方差用来度量随机变量和其数学期望(即均值)之间的偏离程度。即方差是表明随机变量X在期望E(X)附近的集中程度的数字特征。
方差是E[X−E(X)]2E[X-E(X)]^2E[X−E(X)]2,化简可得:
D(X)=E[X−E(X)]2=E(X2)−(E(X))2D(X)= E[X-E(X)]^2=E(X^2)-(E(X))^2D(X)=E[X−E(X)]2=E(X2)−(E(X))2
且对于离散型的随机变量,其方差为:
D(X)=∑1∞[xk−E(X)]2pkD(X) = \sum ^\infty_1 [x_k - E(X)]^2 p_k D(X)=1∑∞[xk−E(X)]2pk
对于连续型的随机变量,其方差为:
D(X)=∫−∞+∞[xk−E(X)]2f(x)dx D(X) = \int ^{+\infty}_{-\infty} [x_k - E(X)]^2 f(x) {\rm d}x D(X)=∫−∞+∞[xk−E(X)]2f(x)dx
方差具有以下性质:
① CCC为常数,D(C)=0D(C)=0D(C)=0
② D(aX+b)=a2D(X)D(aX+b)=a^2D(X)D(aX+b)=a2D(X)
③ 若XXX和YYY独立,则D(X±Y)=D(X)+D(Y)D(X\pm Y)=D(X)+D(Y)D(X±Y)=D(X)+D(Y)
3.协方差
对于两个随机变量,我们想要探讨这两个随机变量中间是否存在关联,以及其关联性程度的高低,而协方差就是一种描述两个随机变量之间的关系的数学特征。
协方差的表达式为
Cov(X,Y)=E[[X−E(X)][Y−E(Y)]]=E(XY)−E(X)E(Y)Cov(X,Y)=E[[X-E(X)][Y-E(Y)]]=E(XY)-E(X)E(Y)Cov(X,Y)=E[[X−E(X)][Y−E(Y)]]=E(XY)−E(X)E(Y)
并且,方差可以看做是两个相同的随机变量的协方差,即
Cov(X,X)=D(X)Cov(X,X)=D(X)Cov(X,X)=D(X)
协方差具有以下性质
① Cov(X,Y)=Cov(Y,X)Cov(X,Y)=Cov(Y,X)Cov(X,Y)=Cov(Y,X)
② Cov(X,a)=0Cov(X,a)=0Cov(X,a)=0
③ Cov(aX,bY)=abCov(X,Y)Cov(aX,bY)=abCov(X,Y)Cov(aX,bY)=abCov(X,Y)
④ Cov(X+Y,Z)=Cov(X,Z)+Cov(Y,Z)Cov(X+Y,Z)=Cov(X,Z)+Cov(Y,Z)Cov(X+Y,Z)=Cov(X,Z)+Cov(Y,Z)
⑤ Cov(∑i=1naiXi,∑j=1mbjXj)=∑i=1n∑j=1mCov(Xi,Yi)Cov( \sum ^n_{i=1} a_iX_i ,\sum ^m_{j=1} b_jX_j)= \sum ^n_{i=1} \sum ^m_{j=1} Cov(X_i,Y_i)Cov(∑i=1naiXi,∑j=1mbjXj)=∑i=1n∑j=1mCov(Xi,Yi)
⑥D(X±Y)=D(X)+D(Y)±2D(X)D(Y)D(X \pm Y) = D(X)+D(Y) \pm 2D(X)D(Y)D(X±Y)=D(X)+D(Y)±2D(X)D(Y)
⑦ 若XXX和YYY相互独立,则 Cov(X,Y)=0Cov(X,Y)=0Cov(X,Y)=0
4.协方差阵
对于二维变量,我们用一个矩阵来表示两者之间的协方差,即
V=[D(X)Cov(X,Y)Cov(Y,X)D(Y)]V=
\left[
\begin{matrix}
D(X) & Cov(X,Y) \\
Cov(Y,X) & D(Y)
\end{matrix} \right]
V=[D(X)Cov(Y,X)Cov(X,Y)D(Y)]
引申来说,假如有一系列的随机变量(X1,X2,⋯ ,Xn)(X_1,X_2,\cdots,X_n)(X1,X2,⋯,Xn),我们需要探究这些变量两两之间的协方差,因此n个随机变量就能得到一个n*n的矩阵,记
σij=Cov(Xi,Xj)\sigma_{ij}=Cov(X_i,X_j)σij=Cov(Xi,Xj)
则有n阶矩阵
V=[σ11σ12⋯σ1nσ21σ22⋯σ2n⋮⋮⋮σn1σn2⋯σnn]V=
\left[
\begin{matrix}
\sigma_{11} & \sigma_{12} & \cdots & \sigma_{1n}\\
\sigma_{21} & \sigma_{22} & \cdots & \sigma_{2n}\\
\vdots & \vdots& & \vdots \\
\sigma_{n1} & \sigma_{n2} & \cdots & \sigma_{nn}\\
\end{matrix} \right]
V=⎣⎢⎢⎢⎡σ11σ21⋮σn1σ12σ22⋮σn2⋯⋯⋯σ1nσ2n⋮σnn⎦⎥⎥⎥⎤
该矩阵就是随机变量(X1,X2,⋯ ,Xn)(X_1,X_2,\cdots,X_n)(X1,X2,⋯,Xn)的协方差矩阵。
很容易可以得到,协方差矩阵是一个对称矩阵,且对角元元素为各个随机变量的方差。
5.正态分布
若随机变量XXX的概率密度函数为:
φ(x)=12πσe−(x−μ)22σ2\varphi(x)=\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x-\mu)^2}{2\sigma^2}}φ(x)=2πσ1e−2σ2(x−μ)2
则称XXX服从参数为μ,σ2\mu,\sigma^2μ,σ2的正态分布,写作X−N(μ,σ2)X-N(\mu,\sigma^2)X−N(μ,σ2)
根据正态分布的特征参数μ,σ2\mu,\sigma^2μ,σ2,我们能对该正态分布有个直观的印象,μ\muμ表示正态分布的对称轴,所以叫做位置参数。σ2\sigma^2σ2表示正态分布的分散程度,σ2\sigma^2σ2越大,正态分布越分散,曲线越“矮胖”,因此σ2\sigma^2σ2又叫刻度参数。
正态分布有以下几个重要的性质:
① 随机变量X−N(μ,σ2)X-N(\mu,\sigma^2)X−N(μ,σ2),Y=a+bXY=a+bXY=a+bX,则Y−N(a+bμ,b2σ2)Y-N(a+b\mu,b^2\sigma^2)Y−N(a+bμ,b2σ2)
② 随机变量X−N(μ1,σ12),Y−N(μ2,σ22)X-N(\mu_1,\sigma_1^2),Y-N(\mu_2,\sigma_2^2)X−N(μ1,σ12),Y−N(μ2,σ22),且两个变量之间相互独立,则Z=X+Y−(μ1+μ2,σ12+σ22)Z=X+Y-(\mu_1+\mu_2,\sigma_1^2+\sigma_2^2)Z=X+Y−(μ1+μ2,σ12+σ22)
③
6.二维正态分布
若二维随机变量(X,Y)(X,Y)(X,Y)有二维密度函数
f(x,y)=12πσ1σ21−r2e{−12(1−r2)[(x−μ1)2σ12−2r(x−μ1)(y−μ2)σ1σ2+(y−μ2)2σ22]}f(x,y)= \frac{1}{2\pi \sigma_1 \sigma_2 \sqrt{1-r^2}}e^{\{- \frac{1}{2(1-r^2)}[\frac{(x-\mu_1)^2}{\sigma_1^2}-2r\frac{(x-\mu_1)(y-\mu_2)}{\sigma_1 \sigma_2}+\frac{(y-\mu_2)^2}{\sigma_2^2}]\}}f(x,y)=2πσ1σ21−r21e{−2(1−r2)1[σ12(x−μ1)2−2rσ1σ2(x−μ1)(y−μ2)+σ22(y−μ2)2]}
则称(X,Y)(X,Y)(X,Y)服从二维正态分布,记为
(X,Y)−N(μ1,μ2,σ12,σ22;r)(X,Y)-N(\mu_1,\mu_2,\sigma_1^2,\sigma_2^2;r)(X,Y)−N(μ1,μ2,σ12,σ22;r)
其中μ1,μ2,σ1>0,σ2>0;∣r∣<1\mu_1,\mu_2,\sigma_1>0,\sigma_2>0;|r|<1μ1,μ2,σ1>0,σ2>0;∣r∣<1为分布参数
二维正态分布有以下性质:
① 二维正态分布的边缘分布为正态分布,且若(X,Y)−N(μ1,μ2,σ12,σ22;r)(X,Y)-N(\mu_1,\mu_2,\sigma_1^2,\sigma_2^2;r)(X,Y)−N(μ1,μ2,σ12,σ22;r),则
X−N(μ1,σ12),Y−N(μ2,σ22)X-N(\mu_1,\sigma_1^2),Y-N(\mu_2,\sigma_2^2)X−N(μ1,σ12),Y−N(μ2,σ22)
② 参数rrr等于XXX和YYY的相关系数,即R(X,Y)R(X,Y)R(X,Y),即
R(X,Y)=Cov(X∗,Y∗)=E(X∗Y∗)=rR(X,Y)=Cov(X^*,Y^*)=E(X^*Y^*)=rR(X,Y)=Cov(X∗,Y∗)=E(X∗Y∗)=r
其中,X∗X^*X∗和Y∗Y^*Y∗为XXX和YYY的标准化随机变量。
③ r=0r=0r=0时,XXX和YYY相互独立。
④ 二维随机变量(X,Y)(X,Y)(X,Y)服从二维正态分布的充要条件是XXX和YYY的任意非零线性组合Z=aX+bYZ=aX+bYZ=aX+bY服从一维正态分布,即Z−N(E(Z),D(Z))Z-N(E(Z),D(Z))Z−N(E(Z),D(Z))
7.均方误差
均方误差的定义:
对于总体XXX的未知参数θ\thetaθ,其估计值为θ‾\overline \thetaθ,则称:
M(θ‾)=E[(θ‾−θ)2]M(\overline \theta)=E[(\overline \theta -\theta)^2]M(θ)=E[(θ−θ)2]
为θ‾\overline \thetaθ关于θ\thetaθ的均方误差。均方误差越小,参数估计越有效。
且均方误差有以下定理:M(θ‾)=D(θ‾)+[E(θ‾)−θ]2M(\overline \theta)=D(\overline \theta)+[E(\overline \theta)-\theta]^2M(θ)=D(θ)+[E(θ)−θ]2
最小均方误差法是指,一种能够使上述θ‾\overline \thetaθ关于θ\thetaθ的均方误差最小的方法。