矩阵与线性变换-优快云博客

本文链接：https://blog.youkuaiyun.com/weixin_37589896/article/details/78459636

部分内容转载自：http://spaces.ac.cn/archives/1768/

起始：几个重要的理解：

线性变换—矩阵乘法的实际意义：Ax=b

理解一：向量变换，旋转（特征向量）与拉伸（特征值）、投影（降维）

矩阵A

事实上由两个向量

和

（这里的向量都是列向量）组成，它描述了一个平面（仿射）坐标系。换句话说，这两个向量其实是这个坐标系的两个基，而运算

则是告诉我们，在

这个坐标系下的x向量，在

坐标系下是怎样的。

这里的坐标系就是我们最常用的直角坐标系，也就是说，任何向量（包括矩阵里边的向量），只要它前面没有矩阵作用于它，那么它都是在直角坐标系下度量出来的。

旋转：类似下面的包含sin，cos的矩阵。跟这个相乘就行了。其实看下面这张图就会很清晰。

拉伸：直接与对角阵乘

理解二：坐标系变换

矩阵是一个点到另外一个点的变换，变换的方式就是坐标系的变换。

线性变换—矩阵乘法：基变换

比如，我们就可以看作是矩阵给出了一个坐标系，但是这个坐标系的各个分量是在坐标系下测量得到的，而是在直角坐标系下测量得到的，所以要把的各个分量（列向量）与矩阵A作乘法后，才得到了这个仿射坐标系在直角坐标系下的“像”。

也就是在A坐标系下的矩阵B，在直角坐标系内的表示

矩阵的秩：

代表矩阵变换后的维度，请查看https://www.zhihu.com/question/21605094

如何求矩阵的秩：

按照初等行变换原则把原来的矩阵变换为阶梯型矩阵，总行数减去全部为零的行数即非零的行数就是矩阵的秩了！！

满秩矩阵：n维，满秩所以有n个维度，所以矩阵都可逆；非满秩矩阵，则行列式为0，则无逆矩阵

矩阵的迹：导数，详细请查看：https://www.zhihu.com/question/51293797

逆矩阵：可逆代表线性变换后的回变换。Ax=b 则 x=A^(-1）b

一个n阶方阵A称为可逆的，或非奇异的，如果存在一个n阶方阵B，使得

并称B是A的一个逆矩阵。不可逆的矩阵称为奇异矩阵。A的逆矩阵记作A^-1。

逆矩阵行列式不为0，为满秩矩阵。

求解逆矩阵：待定系数、伴随阵、初等变换，具体请看：https://jingyan.baidu.com/album/1709ad8095e1924634c4f03a.html?picindex=2

行列式：二维空间下代表线性变换后的面积（平行四边形面积），二维空间下等于行列式=外积（叉乘），三维空间下代表矩阵变换后的体积

单位矩阵:指标坐标系下的E

特征值与特征向量：特征值代表拉伸长度，特征向量代表旋转方向

A 是n阶方阵，如果存在数m和非零n维列向量 x，使得 Ax=λx 成立，则称 m 是矩阵A的一个特征值

https://www.zhihu.com/question/21874816

求特征值：|A-λE|=0求解特征值。

求特征向量：查看 https://wenku.baidu.com/view/0e4341126edb6f1aff001f74.html

相似矩阵：

定义：相似的定义为:对n阶方阵A、B,若存在可逆矩阵P,使得P^(-1)AP=B,则称A、B相似

理解：矩阵是运动的描述，相似矩阵则是相同的运动（同一个线性变换）在不同坐标系下的一个测量结果而已，所以拉伸长度相同（特征值相同）与方向相同（相关，并相差一个线性变换），矩阵的行列式相同、秩相同。

具体请看：http://spaces.ac.cn/archives/1777/

一族相似矩阵，只不过是同一个线性变换在不同坐标系下的一个测量结果而已。

经过初等变换后的矩阵不一定是相似矩阵

P^(-1)AP=B 则A与B为相似矩阵，but why？

首先来一个比较物理的理解：矩阵A描述了向量x到向量y的一个运动，即；但是，这仅仅是在直角坐标系下测量的，在一个新的坐标系P之下，假设测量结果为

。

根据我们在前边给出的矩阵几何理解，在P坐标系下测量的

，在直角坐标系测量为，可以表示成；同理有。代入就得到：，可以稍稍改成，换句话说，在P坐标系下，从到的运动用矩阵表示，这就是A的一个相似矩阵！所以说，一族相似矩阵，只不过是同一个线性变换在不同坐标系下的一个测量结果而已。

相似矩阵间的特征向量联系：
设 Aα = λα, P^-1AP = B
则有 (P^-1AP) (P^-1α) = λ(P^-1α)
即 B(P^-1α) = λ(P^-1α)
即 P^-1α 是 B 的属于特征值 λ 的特征向量

求解相似矩阵的过程：

1.先求出矩阵的特征值: |A-λE|=0
2.对每个特征值λ求出(A-λE)X=0的基础解系a1,a2,..,as
3.把所有的特征向量作为列向量构成矩阵P
则P^(-1)AP 为对角形矩阵. 主对角线上的元素分别对应特征向量的特征值

矩阵分解：实际上就是对运动的分解（or 对基的分解），分解为：旋转与拉伸。将矩阵分解为：只有相互垂直的方向（彼此正交的向量）与拉伸长度（特征值）。分解的过程也是找到相似矩阵的过程

特征值分解：可以求出相似矩阵，也实现了矩阵的对角化，下面特征值分解公式也是相似矩阵的定义公式，其中Σ是对角矩阵

A = Q Σ Q - 1 看看

矩阵分解的集中方式：三角分解（用到了矩阵的初等变换），特征值分解，奇异值分解—SVD，QR分解，Jordan分解

查看：http://blog.youkuaiyun.com/bitcarmanlee/article/details/52662518

查看：https://www.zhihu.com/question/21874816 原理写的非常好

查看：https://wenku.baidu.com/view/3ec0a4ddaeaad1f346933f42.html特征值分解与奇异值分解

矩阵分解的作用：降维、压缩、矩阵填充

向量范数：

其实赞数最高的哥们儿已经解释的很好了。我再从另一个角度来解释一下范数。
总的来说，范数的本质是距离，存在的意义是为了实现比较。比如，在一维实数集合中，我们随便取两个点4和9，我们知道9比4大，但是到了二维实数空间中，取两个点（1，1）和（0，3），这个时候我们就没办法比较它们之间的大小，因为它们不是可以比较的实数，于是我们引入范数这个概念，把我们的（1，1）和（0，3）通过范数分别映射到实数 $\sqrt{2}$ 和 3 ，这样我们就比较这两个点了。所以你可以看到，范数它其实是一个函数，它把不能比较的向量转换成可以比较的实数。
在上面的例子里，我们用的范数是平方求和然后再开方，范数还有很多其他的类型，这个就要看具体的定义了，理论上我们也可以把范数定义为只比较x轴上数字的绝对值。

PS：我这里说的是向量范数。;)

作者：Faaany
链接：https://www.zhihu.com/question/21868680/answer/136376374
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

矩阵范数：

矩阵的范数，表示这个线性变换过程的大小的一个度量。

列空间：一个由矩阵的所有的列进行线性组合而形成的空间。

-------------------------------------------------------------------------------------------------------------

矩阵变换：

转置矩阵

线性变换

仿射变换：https://www.zhihu.com/question/20666664

矩阵的初等变换：用于求方程组以及求逆矩阵

可查看文章：http://www.cnblogs.com/pursuitofacm/p/6837006.html

行向量左乘：行变换

列向量右乘：列变换

初等矩阵左乘：行变换

初等矩阵右乘：列变换

-------------------------------------------------------------------------------------------------------------

几种特殊的矩阵：

对角矩阵：对角矩阵(diagonal matrix)是一个主对角线之外的元素皆为0的矩阵。对角矩阵的特殊性：

是满秩矩阵（因为没有0行列向量），

是可逆（行列式不为0），

是某矩阵的相似矩阵

是特征值

矩阵对角化：如果存在一个可逆矩阵 P 使得 P⁻¹AP 是对角矩阵（也就是相似矩阵是对角矩阵），则它就被称为可对角化的，可对角化就是有相似矩阵、是满秩矩阵。

正交矩阵：

如果AA^T=E（E为单位矩阵，A^T表示“矩阵A的转置矩阵”）或A^TA=E，则n阶实矩阵A称为正交矩阵。

正交矩阵特性：

A的转置矩阵=A的逆矩阵，

正交矩阵，行列组成的行列向量,两两垂直

没行或每列都是单位向量

满秩

行列式=1 or -1 面积（体积）为1

上三角矩阵与下三角矩阵：上三角0都在下面，下三角0都在上面

奇异矩阵：方阵且 |A|=0，无逆矩阵

非奇异矩阵：方阵且 |A|=0，无逆矩阵

正定矩阵：

设M是n阶方阵，如果对任何非零向量z，都有z^TMz> 0，其中z^T 表示z的转置，就称M正定矩阵。

换一种描述：Ax=λx，x为则x^t λ x=x^tAx—》因为x为正交矩阵—》λ=x^tAx ,则有特征值均>0的矩阵为正定矩阵。

正定是对二次函数有效的定义，对方程无效。

对于二次函数，f(x)=X^t A X：

f(x) > 0 ,x <>0,x 属于R，则f 为正定二次型，A为正定矩阵

f(x) >= 0 ,x <>0,x 属于R，则f 为正定二次型，A为半正定矩阵

f(x) < 0 ,x <>0,x 属于R，则f 为正定二次型，A为负定矩阵

f(x) <= 0 ,x <>0,x 属于R，则f 为正定二次型，A为半负定矩阵

以上均不是，则叫做不定矩阵

详细请查看：https://www.zhihu.com/question/38902714?from=profile_question_card

对称矩阵：主对角线上部分与下部分相同，对称矩阵的特征值分解：获得正交矩阵（特征向量彼此正交、与一个特征值的对角矩阵），对称矩阵均是二次型矩阵。

hession矩阵：二阶偏导矩阵，具有对称性，可以利用黑塞矩阵判定多元函数的极值，这点与导数就极值方式雷同，令一阶导数=0，获得驻点，如果二阶导数<0（负定矩阵）则，则为极大值。如果二阶导数》0（正定矩阵）则，则为极小值。

详细请查看：https://baike.baidu.com/item/%E9%BB%91%E5%A1%9E%E7%9F%A9%E9%98%B5/2248782?fr=aladdin

特征空间

酉矩阵

正规矩阵

单位正交基：如果空间的一个基底的三个基向量互相垂直,且长都为1,则这个基底叫做单位正交基底 .常常用{i,j,k}来表示，单位正交基组成的矩阵用于进行特征分解。

张量：

我们已经大概了解到，数字的有序组合产生了向量，向量的有序组合产生了矩阵。这样两个新构造出来的对象，作用一个比一个大。那么有人会联想到：矩阵的有序组合，就可以产生一个“立方阵”，它的功能会不会更加强大？更一般的，n维立方阵呢？这种联想是有道理的，数学上也有这样的研究对象，它就是张量。

最通俗的说法，n阶张量就是一个n维立方阵，所以0阶张量就对应一个数，向量、矩阵分别对应1阶和2阶张量，我们所说的三维立方阵，就是3阶张量啦。当然，张量属于很高深的数学理论，它的性质和作用不可能这么简单就说清楚了。回想当年，爱因斯坦就是用张量分析作为工具，建立起他那伟大的广义相对论的。如果有机会的话，我们一定会重新造访它。

接下来，我们还是回到矩阵问题，谈谈矩阵的行列式。

SVD 与 PCA异同：http://blog.youkuaiyun.com/wangjian1204/article/details/50642732

伪逆、左右逆矩阵最小二乘法与矩阵投影

向量部分：

单位向量：单位向量是指模等于1的向量。由于是非零向量，单位向量具有确定的方向。

如何求解单位向量：先算出向量的模长如（3,-4）的模长为根号（9+16）=5 （4,-3）的模长为根号（16+9）=5 第二步,将向量除以它的模后,所得的向量就是它的单位向量如（3,-4）的单位向量为（3/5,-4/5） (4,-3)的单位向量为（4/5,-3/5）注意：单位向量的模长必为1

向量空间：

线性空间：以向量为成员的空间，向量可运动（变换）

线性组合：

向量的线性组合属于矢量的线性组合，下面会详细介绍。

定义矢量为[2 4 1 5]，[3 5 1 2]，[5 6 2 1]，[9 0 1 3]·权重为0.1，0.4，0.25，0.25。求其线性组合s。

解：线性组合