qq_39494059的博客

因为eλtxe^{\lambda t}xeλtx的导数是λeλtx\lambda e^{\lambda t}xλeλtx 刚好满足λx=Ax\lambda x=Axλx=Ax的形式,只不过中插了一个eλte^{\lambda t}eλt,所以解的形状会是特征向量和特征值结合自然指数函数构造出的线性组合这描述了一些趋势,如果特征值小于零,解的相应分量就会在无穷大出逼近0,如果有绝对值小于1的特征值,解相应分量就会趋于稳态常数,存在特征值大于零,解就会在无穷大处取无穷大令u=Svu=Svu=Sv,SSS是A特征

所以上面问题用矩阵的语言可以这么描述,给一个正交矩阵Q,它把数据A(数据按列堆叠成的矩阵)转换到新坐标系Q下,新数据是QA,它的协方差矩阵中。在常用的降维用法中,最后几个维度可以删掉,因为他们没什么变化,在理想的情况下他们都是一个常数,对决策完全不提供有用的信息。接下来确定第一维度后,就可以确定剩下的了.因为第一行和第一列已知,现在可以把协方差矩阵第一行和第一列去掉,开始让新的。PCA的几何意义是找出一个新坐标系,在这个新坐标系下第一个维度是变化是最大的,最后一个维度变化是最小的.小,但凡不小模长都会比。

举个例子高维空间中的直线,直线本质上自由度只有1,只留一个维度就够了,其他两个维度完全可以丢了,但是如果直接丢,会失去一些信息,但是如果找出新的坐标系,让直线沿着坐标轴,那么其他两个轴就都是常数,那么就可以随便丢了。主成分分析步骤是计算数据的协方差矩阵,然后按照特征值大小堆叠特征向量,堆叠后的特征向量乘以原始数据得到新的数据,新数据维度顺序和重要性是同序的,并且最后几个维度是最次要的,属于是丢弃之后让数据失真最小的维度。要注意的是,我这里原始数据行是维度,列是数据.最终的Q的特征向量是按行堆叠的。

A−1detA1​CTC是把矩阵所有元素都替换成,然后再转置的矩阵A的可以这么算A−1detA1​CTACT的对角是A一行乘以这一行的余子式,根据行列式的计算方法,它的结果就是det(A),而非对角元素相当于用A的一行乘以其他行的余子式,这就相当于把A其他行换成A的这一行的行列式,因为有两个相同行,所以最终结果是0因此ACTdetA→A−1detA1​CT克拉默法则AxbxA−1b那么xi​。

子空间S和子空间正交,表示任意S中的成员正交任意T中的成员。三角形斜边平方等于直角边平方和可以有如下描述,行空间正交零空间,因为零空间是Ax=0的解。xy=0,那么x和y正交。

奇异值分解就是把一个矩阵分解成正交矩阵乘以对角矩阵乘以正交矩阵的形式,即 即AUΣVTAUΣVT。

所以对于对称矩阵,两个不相等的特征值对应的特征向量的积必为0,也就是正交的意思。,这说明对于实矩阵总有一对特征向量是共轭的,当然实数自己和自己共轭。因为特征向量正交,对称矩阵可以。,因此对称矩阵的特征值都是实数。所有部分取共轭总是成立,即。,如果A是实矩阵,有。

如果存在一个非全零系数使得向量线性组合为零，那么这些向量就是线性相关的。一个特例是零向量，它与任何向量都线性相关。

- $det(A-λI)=0$ - $A=X\Lambda X^{-1}$ - $A^2=X\Lambda^2 X^{-1}$ - 特征值之和等于迹 - 特征值之积点云行列式的值 - 逆矩阵的特征向量不变,特征值变成导数

所以最终任意n×n的行列式等于每行每列最多只有一个非0元素的子行列式的和,这些行列式可以通过置换变成对角矩阵,并且这些行列式是八皇后割法的穷举。拆成一堆只带每行最多只有一个非0元素的行列式的和,这些子行列式是每行各出一个元素,任意组合的穷举。的,它的符号是矩阵取决于删掉的行列下标之和,偶数是正,奇数是负。最终的公式很复杂,在编程上不如用消元转成对角矩阵来得简单。行列式也可以这么算,一步步递归下去,最终变成一乘一的矩阵。矩阵的代数余子式是删掉指定一行一列剩下的那个矩阵。任意n×n的行列式可以通过。

行列式的四个基性质detI1det​v1​v2​v3​​​det​v11​v2​v3​​​det​v12​v2​v3​​​)v11​v12​v1​vi​detABdetAdetB。

需要注意的是如果有一个列向量完全等于一个前面的正交基或者是非常接近,会导致在减去那个方向分量时把整个向量都减掉,最后得到一个零向量或者是在数值上逼近零的向量,这会导致后面单位化出现除零的bug。只需要前两个基向量组合.所以最后整体A矩阵在基向量上的系数矩阵就是一个上三角矩阵。QR分解是把一个矩阵拆成正交矩阵和上三角矩阵的积,即。通过这样转化得到的正交基对于A有特殊的意义,因为。第一个方向选A的第一个列向量就可以。第二方向把A的第二个列向量减去它在。方向上的分量就可以得到和。垂直的方向,后面的同理。

由矩阵的列向量张成的子空间。：由矩阵的行向量张成的子空间。：表示方程Ax0的所有解构成的空间。：表示方程ATy0的所有解构成的空间。

给定两个向量a和bb在a方向上的分量是xa,x就是b在a上的投影长度,此时可以构筑一个与a垂直的向量,即b-xa因为b-xa和a垂直,所以aTb−xa0→xaTaaTb​b在a上的投影是axaaTaaTb​aTaaaT​b所以a向量的P是aTaaaT​,它乘以其他向量就相当于把其他向量投影到a上P的列空间就是a向量方向的直线,因为Pb是投影到a上的分量,从列空间角度看就是Pb就是P列空间上的成员。

LU分解其实有时候会遇到某行本该为主元的位置出现0的情况这时候就需要换行,所以有时候LU分解也可以表示成。2.过原点的线,要注意不过原点的线对数乘和加法不封闭,不算是空间。置换就是换行,用矩阵语言描述可以表示成置换矩阵。P是一个置换矩阵,是一个单位矩阵重新换行的矩阵。2的解释 比如线y=ax+b, 有两个点是。,这个点就不在线上,所以对数乘不封闭。对称矩阵的转置等于本身,对于任意。矩阵列向量线性组合的空间叫列空间。行向量线性组合的空间叫行空间。转置就是行变成列,列变成行。矩阵的空间是必过原点的。

通过这些自由列对应的分量分别取1并让其他分量取0构建基础解,他们组成的空间就是解空间。这里面的第二个和第四个分量就是自由分量,先取第二个分量为1,第四个0得到解x为。实际上不一定非要取01,只要自由列线性无关即可,01比较简单而已。这两个向量作为基向量构成的空间就是解空间。再取第四个分量为1,第二个0得到解x为。这里面有两个主元,它们对应的列就是。上三角矩阵中会有几个主列和自由列。对A消元得到上三角矩阵。

消元法是原始矩阵左乘一个矩阵得到消元后的矩阵,,所以消元法得到的矩阵就是A的逆。,然后对它进行消元,把A消成。以下是不可逆矩阵的特点。套用上一节消元法的矩阵。

如果一个线性方程组有解，通过消元得到全零行，那么该方程组的增广矩阵经过相同的消元后，对应行也必须为零，否则该方程组无解。换言之，增广矩阵必须与原矩阵同秩。

完整的n维空间有r个维度已经被行空间所表达，那么剩下的n-r的维度就是零空间所能表达的子空间。矩阵秩为r，其实就是有r个互补相交的行向量，它们就是行空间的有效基向量，其他基向量可以被他们线性组合得出，所以是无效的，所以我们可以认为行空间本质上是r维子空间。列向量，因此最终的A列向量和B的列向量等长，简单地说就是他们行数相同，并且矩阵A列数目等同于C的列数目，也就是说他们的列数相同。转置，可以得到矩阵A的行向量，是C行空间的线性组合，其中系数就是B的行向量。列 线性组合的系数恰好是C的第。

这就是LU分解,把A拆成下三角矩阵L和上三角矩阵U的积。这个操作用矩阵语言描述就是,原始矩阵减去下面这个矩阵。所以原始矩阵用消元的方式可以表示成如下形式。回到最初对矩阵乘法理解方式,可以知道。矩阵乘法还有一种理解方式是。同理,对下面两行再消元得到。

消元法可以用矩阵语言描述，消元后的矩阵是原始矩阵左乘一个矩阵，左乘的句子每行就是消元法中用的系数。解线性方程组Ax=b可以把A和b拼起来当做增广矩阵，然后对增广矩阵消元求解。主元是消元法中用来消去同列的元素，也是保留到最后的每行第一个非零元素。零不能作为主元，遇到0换行就可以，如何换不到非0那说明消元法失效。矩阵通过线性想加减消去列中非0元素最终得到一个上三角矩阵。矩阵乘法满足结合律，就是可以随便加和换括号在乘法运算中。行向量乘矩阵可以看做矩阵的行线性组合得到行向量.

Ax=b方程组从列的角度来就是A矩阵列向量的线性组合得到b，线性系数就是。可以看做A的列线性组合得到B的列，系数是X。或者是A的行和X的列点乘得到B的单个元素。Ax=b方程组从行的角度来看就是。这几条直线（平面，超平面）的交点。

矩阵乘法A=BC有这么几种理解方式。