quaer的博客

在线性代数或矩阵理论中，我们肯定都学过斯密特正交化（Gram-Schmidt Orthogonalization）,正交化过程即将欧氏空间的任一基化为标准正交基，构造出的标准正交基正好构成了我们想要的QQ矩阵，而RR矩阵由正交化过程的公式倒推即可得到。A=[→x1→x2→x3]正交化→[→y1→y2→y3]单位化→[→z1→z2→z3]=QA=[x1→x2→x3→]→正交化[y1→y2→y3→]→单位化[z1→z2→z3→]=Q。首先假设初始方阵为AA，→xixi→、→yiyi→、→zizi→都为列向量。

SVD的作用就相当于是一个坐标系变换的过程，从一个不标准的n维坐标系，转换为一个标准的k维坐标系，并且使这个数据集中的点，到这个新坐标系的欧式距离为最小值（也就是这些点在这个新坐标系中的投影方差最大化），其实就是一个最小二乘的过程。A^T·A中计算的便是n×n的协方差矩阵，每一个值代表着原来的n个特征之间的相关性。对于奇异值,它跟我们特征分解中的特征值类似，在奇异值矩阵中也是按照从大到小排列，而且奇异值的减少特别的快，在很多情况下，前10%甚至1%的奇异值的和就占了全部的奇异值之和的99%以上的比例。

为了论述矩阵的奇异值与奇异值分解!

这个人写的太好了.所以发一篇文章注明链接:矩阵篇（二）-- 线性变换的矩阵表示、常用变换及其矩阵、常见的特殊矩阵-优快云博客

最大似然估计MLE 是一种技术，可以生成对要拟合数据的任何分布的参数的最可能估计值。估计值是通过最大化数据来自的分布的对数似然函数来计算的。本文解释了 MLE 的工作原理和方式，以及它与 MAP 等类似方法的不同之处。还解释了似然函数的定义以及如何推导它。最后还使用了一个从泊松分布计算 MLE 的示例，并解释了 MLE 的两个重要属性，即一致性和渐近正态性。希望这对任何学习统计和数据科学的人有所帮助！

可以和 σ(T)\sigma(T) 构成的对应，因此我们可以有一个从 ATA_T 到 C(σ(T))C(\sigma(T)) 的Gelfand map Γ\Gamma ，而且这个映射是 ∗* 代数同构的，也就是说，反过来，我们随便给一个连续函数 u∈C(σ(T))u\in C(\sigma(T)) ，那么 Γ−1(u)\Gamma^{-1} (u) 是一个。，所以我们可以构造 Ei=Γ−1(χλi)E_i=\Gamma^{-1}(\chi_{\lambda_i}) ,不难证明 EiE_i 是。

Cholesky 应该怎么念，o(╯□╰)o，我感觉比较像‘瞅乐死骑’，毕竟这是 名字，哈哈哈哈这个矩阵非常重要，之前在也见过它，如果：Ax=b无解，也就是 x=A−1b 不成立， A 不可逆，我们无法计算 A−1 .那么我们会想要最小化：||Ax−b||2也就是：这个 Error 函数对 x 求导：也就是需要解：(1)式也就是：(1)式 一定可以推出 (2) 式么？(ATA)−1 一定存在逆矩阵么？也许不一定，所以才有。

但是这里给出一个不那么简洁、但是更加直观的理解方式：把它放在实空间中。和一个虚部（两个自由度），但是由于特征值必然是共轭成对出现的，那么两个特征值仍然只对应着一个实部和一个虚部（两个自由度）。后，蓝色空间变为红色空间就是一个纯粹的旋转过程了。的实部向量、虚部向量、以及实特征值的特征向量。的直观含义非常好理解，它就是在对应的特征向量方向上的纯拉伸/压缩。：在x-y平面上的均匀拉伸r倍，以及在z方向上单向拉伸c倍。也给我们两个向量，一个是实部向量，一个是虚部向量。给我们两个自由度，一个模，一个幅角。

接着： viTvi 转为两个向量的点乘 vi→·vi→=||vi||2。由于： ||Avi→||2 为非负数（一个向量的模长的平方为非负数）得到该新向量的模长 (||Avi→||) 即为 ATA 的奇异值。由上面可知： σi=λi=||Avi→||2=||Avi→||所以：每个 ui 的模长为1，于是： ||ui||2=1。那么将 vi 替换成 ui 后为： λi||ui||2。那么： ||Avi→||2=(Avi→)(Avi→)那么这个新的向量模的平方记为： ||Avi→||2。

Gerschgorin圆盘：设 A=(aij)n×n 为实方阵，则称复平面上以 aii 为中心， 以ri=∑j=1,j≠in|ai,j| 为半径的 n 个圆盘称为Gerschgorin圆盘。

【预备知识】：设A = ( a i j ) ∈ C n × n , R r ( A ) = ∑ s = 1 , s ≠ r n ∣ a r s ∣ A=(a_{ij})\in \mathbb{C}^{n\times n},R_r(A)=\sum_{s=1,s\not=r}^n|a_{rs}|A=(a。【性质4】设A = ( a i j ) ∈ C n × n ( n ≥ 2 ) A=(a_{ij})\in \mathbb{C}^{n\times n}(n\ge2)A=(a。

可能对于复线性空间有点难理解，那么对实数矩阵 Am×n , 我们不能求其特征值，但对于ATA 和 AAT 分别为n阶和m阶对称方阵，他们的秩R(ATA)=R(AAT)=R(A), 且两个对称矩阵的非零特值相同 ，对称矩阵的特征址矩阵是正交矩阵，特征值均为正实数，因此可求出特征值的平方根--奇异值SVD的实现（以下仅针对实数域）

从上图可以很容易地看出，由于2范数解范围是圆，所以相切的点可能有很多个，绝大部分不在坐标轴上，而由于1范数是菱形，其相切的点大多在坐标轴上，而坐标轴上的点有一个特点，其只有一个坐标分量不为零，其他坐标分量为零，即是稀疏的。除了这一点，2范数的正则项还有其他好处，比如控制方差和偏差的关系，得到一个好的拟合，这里就不赘述了，毕竟这里讲的是范数，有兴趣可以参阅相关资料。以2范数作为正则项可以得到稠密解，并且由于其良好的性质，其解的定义很好，往往可以得到闭式解，所以用的很多。另外，从距离的角度说一下范数。

这一点说明了，在矩阵的Jordan标准形中，除了若尔当块的排列顺序外是唯一确定的，其中若尔当的顺序可以任意调换.因此rank(A-3E)=2,从而主对角元为3的Jordan块数为3-2=1.于是A的Jordan标准形J为。4.求下列矩阵的若尔当标准形，并求出过渡矩阵P，使得P−1AP=J.最后一个例子的AP=PJ处J的代入写错了，但下面写的没错。的若尔当标准形，并求出过渡矩阵P，使得P−1AP=J.的若尔当标准形，并求出过渡矩阵P，使得P−1AP=J.的若尔当标准形，并求出过渡矩阵P，使得P−1AP=J.

播报编辑对任一阶矩阵，必存在阶可逆阵，使，其中每一个对角块都是Jordan块：，即对角线上同为的上面都有一个1，其余元素都是0，是阶方阵。因此中所有都是矩阵的特征值。进一步，若不计各个Jordan块的排序，是由唯一确定的，也就是说，的Jordan块标准型，在不计Jordan块次序的前提下，是唯一确定的。我们称称为Jordan块。[1]每个n阶的复数矩阵A都与一个若尔当形矩阵相似，这个若尔当形矩阵除去其中若尔当块的排列次序是被矩阵A唯一确定的，它成为矩阵A的。

(a) 如果 A=Diag(B,C) ，那么 EAp(λ)=EBp(λ)⊕ECp(λ),gmAp(λ)=gmBp(λ)+gmCp(λ)。因为 Nullsp(B)=EA(λ)⊂EAp+1(λ)⇒dim(Nullsp(B)⋂EAp+1(λ))=dimEA(λ)=gmA(λ)所以 dim(Im(B)⋂EAp+1(λ))=dim(EAp+1(λ))−gmA(λ)=gmAp+1(λ)−gmA(λ)我们有 v∈EA(λ)⇔v∈PEB(λ) ，所以 EA(λ)=PEB(λ) ，从而 gmB(λ)=gmA(λ)。