jhshanvip的博客

3.3 贝叶斯估计矩估计和极大似然估计方法的优点是比较客观客观，基本由随机采样数据决定。缺点是需要在大样本情况下估计才比较准确。不能把人类知识用于估计。例如，某公司研发新产品，需要估计合格率，这是典型的伯努利分布。按照矩估计和极大似然估计方法，需要试生产大量产品后才能获得比较好的估计，这在实践中十分昂贵和耗时。该公司的研发人员根据同类产品的历史经验和理论分析或仿真，可以对新产品的合格率有个比较可靠的估计，即使新产品还没有生产。这些知识是十分宝贵的，如果不能充分利用则实在可惜。如果很好的利用了这些知识，则可

3.2 极大似然估计方法 ML极大似然估计方法是高斯提出，并利用该技术获得测量误差满足高斯分布的结论。假设随机变量满足概率密度函数 p(x∣θ)p(x|\mathbf{\theta})p(x∣θ)，其中 θ\mathbf{\theta}θ 是需要估计的参数向量，比如高斯分布中的均值和方差参数，令随机抽取到 nnn 个样本 (x1,⋯ ,xn)(x_1,\cdots,x_n)(x1​,⋯,xn​) 。每个样本被抽取到的概率为 p(xi∣θ)p(x_i|\mathbf{\theta})p(xi​∣θ) ，假设

3.1 矩估计方法假设我们知道某个随机变量满足高斯分布，但不知道高斯分布的两个参数 μ,σ2\mu,\sigma^2μ,σ2 ，怎么估计这些参数呢，这就是参数估计要解决的问题。实践中经常遇到这种问题。显然我们必须从这个分布中抽取样本，假设随机抽取到 nnn 个样本 (x1,⋯ ,xn)(x_1,\cdots,x_n)(x1​,⋯,xn​) ，怎么利用这些样本估计参数呢？一个显而易见的方法是，利用抽取的样本可以获得样本均值 μˉ=1/n∑ixi\bar {\mu} = 1/n\sum_i x_iμˉ​=1

2 拉普拉斯分布一元拉普拉斯分布的密度函数为：p(x)=12σexp(−∣x−μ∣σ)p(x) = \frac{1}{2\sigma} exp(-\frac{|x-\mu|}{\sigma})p(x)=2σ1​exp(−σ∣x−μ∣​)从函数图像看，拉普拉斯密度函数是个尖峰曲线，关于 μ\muμ 对称，在 μ\muμ 处函数值最大，远离中心点 μ\muμ ，函数值快速下降，下降速度是指数。μ\muμ 称为位置参数，σ\sigmaσ 称为尺度参数。拉普拉斯分布的期望为 μ\muμ ，方差为 2σ2

1 高斯分布高斯分布也称为正态分布，大家都很熟悉，但有些性质这里有必要提下。一元高斯分布的密度函数为：p(x)=12πσexp(−(x−μ)22σ2)p(x) = \frac{1}{\sqrt{2\pi}\sigma} exp(-\frac{(x-\mu)^2}{2\sigma^2})p(x)=2π​σ1​exp(−2σ2(x−μ)2​)从函数图像看，高斯密度函数是个钟形曲线，关于 μ\muμ 对称，在 μ\muμ 处函数值最大，远离中心点 μ\muμ ，函数值快速下降，下降速度是指数平方。远离中

7.4.10 白化 whitening回顾PCA，Y=UTAY = U^TAY=UTA 即对数据矩阵 AAA 进行旋转变换 UTU^TUT 得到主成分 YYY ，矩阵 YYY 的每列数据为每个学生新成绩向量。所以 PCA 算法本质上是对数据点云进行旋转变换，变换后数据矩阵的协方差矩阵为对角阵 Σ2\Sigma^2Σ2 ，即各个主成分无相关性。因为 AAT=UΣ2UTAA^T = U\Sigma^2 U^TAAT=UΣ2UT 即 UUU 是协方差矩阵 AATAA^TAAT 的特征向量组，Σ2\Sigma^2

7.4.9 低秩数据矩阵的鲁棒主成分分析 PCA由于噪声，观测到的数据矩阵为 M=L+NM = L + NM=L+N ，其中 LLL 为真实值构成的数据矩阵即理想数据矩阵，NNN 为噪声矩阵。PCA 分析是希望得到矩阵 LLL 的主方向和奇异值，但实际上我们只能得到矩阵 MMM 的主方向和奇异值。当噪声矩阵 NNN 每个元素是零均值小方差独立同分布的高斯噪声时，矩阵 MMM PCA 分析结果就是矩阵 LLL PCA 分析结果的最优近似解。当噪声矩阵 NNN 大部分元素是零均值小方差独立同分布的高斯噪声，

7.4.8 数据压缩上面 PCA 从数学方面说明了数据矩阵压缩的可能性，现在从物理模型上说明这点。数据矩阵由于测量噪声，观测到的数据矩阵理论上为 A=Aˉ+NA = \bar A + NA=Aˉ+N ，其中 Aˉ\bar AAˉ 为真实值构成的数据矩阵即未受噪声影响，NNN 为噪声矩阵，由于噪声是随机的，不相关的，故矩阵 NNN 一般为满秩矩阵即 rankN=min(m,n)rank N = min(m,n)rankN=min(m,n) ，所以数据矩阵 AAA 一般是满秩矩阵。但真实数据矩阵 Aˉ\ba

7.4.7 2DPCA回顾PCA方法本质是求向量 α\mathbf{\alpha}α 使所有样本与之内积最大，样本只能是向量数据。u1=argmaxα∑ai∈A(αTai)2\mathbf{u}_1 = argmax_{\mathbf{\alpha}} \sum_{\mathbf{a}_{i} \in A} (\mathbf{\alpha}^T\mathbf{a}_i)^2u1​=argmaxα​ai​∈A∑​(αTai​)2如果样本是图像，则样本都是矩阵数据，怎么推广PCA使之能适用矩阵数据呢？

7.4.6 核PCA经典 PCA 是线性变换，重构数据矩阵是原矩阵的投影变换，当数据点云分布呈现明显的非线性时，线性PCA不能很好压缩维度，达不到提取主成分的效果。例如三维空间中，点云是一条曲线分布，曲线不位于任意平面内，则对点云进行投影变换只能变换到三维空间，所以线性PCA的主成分还是3个。但曲线可以看作只有一维，“沿曲线切线方向”的维度，这就需要通过非线性变换，获得该主成分。假设数据矩阵为 AAA ，每列为一个样本点 ai\mathbf{a}_{i}ai​ ，对每个样本进行非线性变换，变换函数为 Φ

7.4.5 鲁棒主成分分析 PCA根据每个样本点数据 ai\mathbf{a}_{i}ai​ 在第一主方向 u1\mathbf{u}_1u1​ 上的投影的方差最大，知样本点在此方向最分散，为第一主方向。我们可以反过来思考，每个样本点数据 ai\mathbf{a}_{i}ai​ 在某个方向 α\mathbf{\alpha}α 上投影，计算其方差，方向不同时，方差是不同的，当方差最大时，此时方向就是第一主方向，所以第一主方向可如下定义：u1=argmaxα∑ai∈A(aiTα)2=argmaxα(ATα)T

7.4.4 主成分分析 PCA假设我们研究的对象具有相关属性，令属性向量为 x=(x1,x2,⋯ ,xm)\mathbf{x} = (x_1,x_2,\cdots,x_m)x=(x1​,x2​,⋯,xm​) 即有 mmm 个属性。例如分析学生成绩，每个学生有数学、语文、英语、物理、化学等 555 门学科成绩，则成绩向量为 x=(x1,x2,⋯ ,x5)\mathbf{x} = (x_1,x_2,\cdots,x_5)x=(x1​,x2​,⋯,x5​) 即有 555 个属性。我们收集了 nnn 个学生的成

7.4.3 矩阵极分解和平方根分解当矩阵 AAA 是方阵时A=UΣVT=UVTVΣVT=(UVT)(VΣVT)=QSQ=UVT是正交矩阵，S=VΣVT是对称半正定矩阵，即对任意向量x，有xTSx≥0成立，因为对角阵Σ对角元素非负.又A=UΣVT=UΣUTUVT=(UΣUT)(UVT)=KQA = U\Sigma V^T = UV^TV\Sigma V^T = (UV^T)(V\Sigma V^T)=QS \\Q = UV^T 是正交矩阵，S=V\Sigma V^T是对称半正定矩阵，\\即对任意向量

7.4.2 解的稳定性、病态矩阵、矩阵条件数根据通解x=xp+xz=b1U/σ1v1+⋯+brU/σrvr+(k1vr+1+⋯+kn−rvn)biU=uiTb为在坐标系U下的坐标分量,ki是任意实数\mathbf{x} = \mathbf{x}_p + \mathbf{x}_z = b^U_1/\sigma_1\mathbf{v}_1 + \cdots + b^U_r/\sigma_r\mathbf{v}_r + (k_1\mathbf{v}_{r+1} + \cdots + k_{n-r}\math

矩阵低秩近似、矩阵范数根据奇异值分解，秩为 rrr 的任意矩阵 AAA 可分解为 rrr 个简单矩阵（秩为 111） σiuiviT\sigma_i\mathbf{u}_i\mathbf{v}^T_iσi​ui​viT​ 之和，且 σ1≥σ2≥⋯σr>0\sigma_1\ge \sigma_2 \ge \cdots \sigma_r > 0σ1​≥σ2​≥⋯σr​>0，按重要性排序，即 A=UΣVT=σ1u1v1T+⋯+σrurvrTA = U\Sigma V^T = \sigma_1\

7.3 奇异值分解的几何意义根据 Avi=σiuiA\mathbf{v}_i = \sigma_i\mathbf{u}_iAvi​=σi​ui​ 知矩阵 AAA 把行空间正交基 v1,⋯ ,vr\mathbf{v}_1,\cdots,\mathbf{v}_rv1​,⋯,vr​ 变换为列空间垂直基(向量两两垂直，不是单位向量) σ1u1,⋯ ,σrur\sigma_1\mathbf{u}_1,\cdots,\sigma_r\mathbf{u}_rσ1​u1​,⋯,σr​ur​ ，该垂直基的方向是列空间正交基

7.2 伪逆和线性方程 Ax=bA\mathbf{x}=\mathbf{b}Ax=b矩阵 444 个空间的正交基1、根据 Avi=σiuiA\mathbf{v}_i = \sigma_i\mathbf{u}_iAvi​=σi​ui​ ，大于零的奇异值 σi>0\sigma_i > 0σi​>0 对应的左奇异向量 u1,⋯ ,ur\mathbf{u}_1,\cdots,\mathbf{u}_ru1​,⋯,ur​ 是矩阵 AAA 列空间的正交基；2、根据 ATui=σiviA^T\mat

7.1 奇异值分解SVD和对称矩阵谱分解矩阵 Amn,rankA=r<(m,n)A_{mn},rank A=r < (m, n)Amn​,rankA=r<(m,n) 是亏秩矩阵时，虽然高斯消元法可以求得方程 Ax=bA\mathbf{x}=\mathbf{b}Ax=b 的解，很可惜的是，采用高斯消元法，有两个缺点：第一是，当方程不存在精确解时，高斯消元法无法得到最小二乘解；第二是，当方程存在精确解时，其解的结构是特解加零解。当选择不同的矩阵 AAA 列空间的极大无关组时，可以求得不同的特

6.2 数值稳定性矩阵 AAA 的行向量虽然不相关，但当某个行向量几乎可以被其它行向量线性表示时，矩阵 AAA 接近奇异，如果计算 AR−1=AT(AAT)−1A^{-1}_R=A^T(AA^T)^{-1}AR−1​=AT(AAT)−1 采用 (AAT)(AA^T)(AAT) 的逆，则会导致数值不稳定。可采用第五章技术，利用 QRQRQR 分解，提高数值稳定性。令矩阵 B=ATB = A^TB...

6.1 范数最小解，右逆，零空间映射矩阵矩阵 Amn,rankA=m<nA_{mn},rank A=m < nAmn​,rankA=m<n 是行满秩矩阵时，高斯消元法可以求得方程 Ax=bA\mathbf{x}=\mathbf{b}Ax=b 的解，其解的结构是特解加零解。零解是方程 Ax=0A\mathbf{x}=\mathbf{0}Ax=0 的解，特解是满足 Ax=bA\ma...

5.13 卡尔曼滤波卡尔曼滤波和递归最小二乘法形式上极其相似。递归最小二乘法最优解更新公式为x^m=x^m−1+Kmϵmϵm=bm−armTx^m−1\mathbf{\hat{x}_{m}} =\mathbf{\hat{x}_{m-1}}+K_{m}\epsilon_{m}\\\epsilon_{m} = b_{m}-\mathbf{a^T_{rm}}\mathbf{\hat{x}_{m-...

5.12 QR分解的阻尼倒数法和正则化方法区别基于QR分解的阻尼倒数法目的是改善矩阵 AAA 的病态，正则化方法目的也是改善矩阵 AAA 的病态。区别是阻尼倒数法能获得稀疏解，即最优解分量趋近 000 ，而正则化方法不能。阻尼倒数法可以很方便的针对不同的 riir_{ii}rii​ 选择不同的阻尼参数，获得最优配置，而正则化方法本质上是对矩阵 AAA 的奇异值进行阻尼（后面会介绍），对所有奇异值...

5.11 加权Gram-Schmidt 分解前面介绍了加权最小二乘法的解为 x^=(ATDA)−1ATDb\mathbf{\hat{x}} = (A^TDA)^{-1}A^TD\mathbf{b}x^=(ATDA)−1ATDb ，其中 DDD 为权重矩阵，最常用的是对角阵，每个对角元素表示对应测量点的权重，均为正值，元素值越大表示该测量点越重要。本节仅研究权重矩阵为对角阵的情况，权重矩阵记为 W...

5.10 阻尼倒数法改进Gram-Schmidt分解中需要计算 rii=∥ai∥r_{ii} = \|\mathbf{a}_i\|rii​=∥ai​∥ ，qi=ai/rii\mathbf{q}_i = \mathbf{a}_i/r_{ii}qi​=ai​/rii​，riir_{ii}rii​ 表示子空间第 iii 个坐标轴的高度，当其为 000 时，说明子空间少了该维度，矩阵 AAA 不是列满秩...

5.9 QR分解–Gram-Schmidt 分解最小二乘法需要解方程 ATAx=ATbA^TA\mathbf{x} = A^T\mathbf{b}ATAx=ATb ，需要计算矩阵乘法 ATAA^TAATA ，然后再高斯消元法解普通方程，缺点有两个，一是效率比较低，因为需要计算矩阵乘法 ATAA^TAATA，二是不稳定，当矩阵 AAA 列向量接近线性相关时，矩阵 ATAA^TAATA 列向量会更接...

5.8 正则化和数据标准化方程 Ax=bA\mathbf{x}=\mathbf{b}Ax=b 矩阵 AAA 列满秩时才有最小二乘解。矩阵 AAA 列满秩，即矩阵列向量组是无关组，根据无关组性质，即不存在非零向量 v\mathbf{v}v 使 Av=0A\mathbf{v}=\mathbf{0}Av=0 成立。矩阵 AAA 向量组极其接近相关时，则存在非零单位向量 v,u\mathbf{v},\m...

5.7 随机采样最小二乘法如果万一出现差错，又难以检测出，则强影响点影响很大，此时可以采用一种随机方法，尽量避免差错带来的影响。随机最小二乘法不采用所有测量数据，而是随机抽取部分测量数据，根据这些部分测量数据进行最小二乘。如果没有抽取到强影响点，则由抽取到的部分测量数据进行最小二乘法能获得满意的结果，所以随机最小二乘法关键是怎么保证没有抽取到强影响点。由于随机抽取到强影响点的概率与强影响点所占...

5.6 稳健最小二乘法稳健最小二乘法是一种能有效抑制强影响点对回归结果造成影响的方法，利用加权最小二乘法的思想，对残差大的测量点赋予低权重，残差正常的测量点赋予相同权重，则可以抑制异常点对结果的影响，获得较为稳定的估计值，不易受强影响点的影响。假设第 iii 个测量点的残差为 δi\delta_iδi​ ，权重为 wiw_iwi​ ，最常用的权重取值方式如下，即著名的Huber函数。wi={1...

5.5 强影响点前面分析指出，最小二乘法是残差平方和 ∑i(bi−ariTx)2\sum_i (b_i-\mathbf{a}^T_{ri}\mathbf{x})^2∑i​(bi​−ariT​x)2 最小对应的解，为什么会有残差呢？测量误差导致的，如果没有测量误差，则不需要过测量，只需刚刚好的测量次数就能获得真实值。但由于测量误差，我们过测量，取平均，测量误差正负抵消，估计值更可靠，估计值不会因为...

5.4 加权最小二乘法最小二乘法是使 ∑i(bi−ariTx)2\sum_i (b_i-\mathbf{a}^T_{ri}\mathbf{x})^2∑i​(bi​−ariT​x)2 最小，这表明每次测量的重要性一样，但实际中有时存在某些测量更重要，某些更不重要。以第一个例子为例说明，假设测量直径，用了两个精度不同的设备各测一次，分别为 dh,dld_h,d_ldh​,dl​ ，设备的测量精度即方...

5.3 递归最小二乘法前面最小二乘法中数据是一次全部测量好，然后进行求解。但实际中有时存在测量数据是在线获得的，即时刻获得测量数据。比如无人驾驶车辆，需要实时判断前面车辆的运动状态，获取其加速度，所以每时每刻都需要进行测量。当每次获得新的测量数据后，需要进行最小二乘法以更新车辆状态。如果每次更新时，都采用公式 x^=(ATA)−1ATb\mathbf{\hat{x}} = (A^TA)^{-1}...

5.2 最优近似解 x^=AL−1b\mathbf{\hat{x}} = A^{-1}_L\mathbf{b}x^=AL−1​b 是最小二乘解根据平面几何定理，点到直线的距离，垂线最短，推广到高维，即点到子空间的距离，垂线最短。根据投影性质，向量 bp\mathbf{b}_pbp​ 是向量 b\mathbf{b}b 在子空间 colAcol AcolA 的垂足，向量 b−bp\mathbf{b}...

前面介绍的状态转移方程、测量方程中有关矩阵都与时刻无关，如 A,C,Γ,Q,RA,C,\Gamma,Q,RA,C,Γ,Q,R 。在此假设下，卡尔曼增益矩阵 KiK_iKi​ 当时间区域无穷大即 i→∞i \to \inftyi→∞时存在极限，令极限为KKK 。递推计算过程中用 KKK 代替所有的 KiK_iKi​ ，则可以极大提高计算效率和减小存储零。KiK_iKi​ 是指数收敛的，故收敛速度很快...

4.10 重要总结读者应该知道数值 rrr 代表什么？就是矩阵 AAA 的秩！为什么呢？显然矩阵 PAQ=[Err,Fr,n−rOm−r,r,Or,n−r]PAQ=\left[ \begin{matrix} E_{rr} , F_{r,n-r} \\\mathbf{O}_{m-r,r},\mathbf{O}_{r,n-r}\end{matrix} \right]PAQ=[Err​,Fr,n...

4.9 行列均不满秩方程行列均不满秩方程需综合列满秩方程和行满秩矩阵结果，进行高斯约当消元法，最终矩阵变为单位矩阵、自由矩阵和零矩阵。例如方程2x+4y+6z=124x+9y+13z=366x+13y+19z=482x + 4y + 6z = 12 \\4x + 9y + 13z= 36 \\ 6x + 13y+19z = 482x+4y+6z=124x+9y+13z=366x+13y...

4.8 行满秩方程高斯约当消元法还可以应用于行满秩矩阵，行满秩矩阵进行高斯约当消元法，最终矩阵变为单位矩阵和自由矩阵。例如方程2x+4y+6z=124x+9y+13z=362x + 4y + 6z = 12 \\4x + 9y + 13z= 36 2x+4y+6z=124x+9y+13z=36系数矩阵为A=[2464913]A=\left[ \begin{matrix} 2 ...

4.7 列满秩方程对于可逆矩阵，高斯约当消元法可以求得方程的解和逆矩阵，同样也可以应用于列满秩矩阵。列满秩矩阵进行高斯约当消元法，最终矩阵变为单位矩阵和零矩阵。例如方程2x+4y=24x+9y=86x+13y=102x + 4y = 2 \\4x + 9y = 8 \\6x + 13y = 10 2x+4y=24x+9y=86x+13y=10系数矩阵为A=[2449613]...

4.6 高斯约当消元法高斯消元法把矩阵变换为上三角阵，上三角阵还可以继续变换为对角阵。例如上面增广矩阵 [A,b][A, b][A,b] 变换为上三角阵[24−2201140048]\left[ \begin{matrix} 2 & 4 & -2 & 2\\ 0 & 1 & 1 & 4\\ 0 & 0 & 4 &...

4.5 置换矩阵是不是任意可逆矩阵都可进行 LDULDULDU 分解呢？其实不能，消元操作需要除以对角元素 aiia_{ii}aii​ ，当其为 000 时，则会失败。这时可在下面行中选择任一对角元素不为 000 的行，对调这两行，则可继续消元。例如A=[002123012]A=\left[ \begin{matrix} 0 & 0 & 2\\ 1 & 2 &a...

4.4 高斯消元法的矩阵表示高斯消元法的原子操作为： 方程 jjj 乘以 −ai,j/ajj,i>j-a_{i,j}/a_{jj},i>j−ai,j​/ajj​,i>j ，加到方程 iii ，使 ai,ja_{i,j}ai,j​ 为 000 ，令 lij=ai,j/ajjl_{ij}=a_{i,j}/a_{jj}lij​=ai,j​/ajj​ ，称该操作为消元操作，lijl_{...