矩阵的意义

原创已于 2022-02-17 08:33:31 修改 · 2.9w 阅读

108 ·

CC 4.0 BY-SA版权

文章标签：

#矩阵 #相似矩阵 #物理意义 #线性空间

于 2018-06-12 21:53:32 首次发布

机器学习同时被 3 个专栏收录

38 篇文章

订阅专栏

Machine Learning

35 篇文章

订阅专栏

数学

7 篇文章

订阅专栏

说明

在学习了《神奇的矩阵》，《马同学图解数学》，机器学习等内容后对矩阵有了一些直觉上的认识。文章不长相信大家读完之后一定能够明白一些矩阵的核心概念背后的物理意义。

空间

首先说空间的特质就是可以容纳运动，这里的运动更加准确的来说就是一种跃迁、变换。我们可以想象在波尔的原子模型中环绕原子核的电子在吸收或者是释放能量之后直接从这个轨道一下子变换到另一个轨道这个场景。进一步，线性空间就是就是可以容纳线性变换的集合。

这里说到了集合，那么对于线程空间的它是谁的集合呢？是向量。向量不像是我们最基本认识的最直观的向量一个有方向的有向线段，这里的向量更加的一般化是一串有序的数。首先来说这里的方向更加一般化不像我们直观的体会到的上下左右，东西南北，而是某一个物体的某一个方面。比如大小，颜色，重量这些都是向量中的方向。而量就是它们在数值上的体现比如大象3立方米，颜色红色，重量7千克。这样一个向量就可以描述一个人，一个教室乃至万事万物。

那么如何在空间中确定一个向量呢？就是设立一组坐标系（也就是基）。这里的坐标系其实就是一些线性不相关的向量。就像三维空间中的基就是三个互相垂直的轴。在线性空间中只要找到几个线性不相关的向量就可以表示其它任何的向量。比如在二维平面上我们一旦找到两个相交的向量我们就能够表示其它任何一个二维向量。当然当我们需要表示一个n维的物体的时候我们就需要找到n个不相关的向量。在一个线性空间中一个向量就是其中的一个点，或者是点到坐标原点的带有方向的线段。同时我们也就知道一个由多个线性不相关的向量组成的矩阵就可以描述一个线性空间的坐标系。厉害吧！: - )

实际应用

在机器学习中通常将所有的样本向量化然后丢到模型里去训练或者是进行预测。下图做一个简单地示例。将一颗西瓜向量化，最后做出预测。

矩阵与变换

在这里引出一个问题，如何描述一个向量在线性空间中的运动或者是变换？其实这就是矩阵的作用，在线性空间中选定基之后向量描述对象，矩阵刻画对象的运动用矩阵与向量的乘法来描述运动。这里的运动可以理解为伸缩和旋转因为平移之后的向量还是同一个向量。

β = Mα中M就描述了α向量到β向量的运动。

B = MA中M就描述了一组向量{a}到{B}的运动。

由上面可以看出矩阵充当了很多的角色这里澄清一下：

① 矩阵是坐标系？坐标系是由一堆的线性无关的向量所构成的只不过在这里是用矩阵的形式来表示。

② 矩阵是运动的描述？是的。

③ 总的来说如果一个矩阵单独出现那么它就描述了一个坐标系。如果它与一个向量或者是矩阵相乘的时候那么它就描述了一个变换。

实际应用

在游戏中物体的每一次运动都是一次矩阵的乘法。

矩阵与方程组

方程组的解之与系数有关，所以把系数提取出来放在一起也就成了矩阵。矩阵的行变换也就是解方程时的加减消元的过程。

方程组Ax = b的意义，方程组有解有两种解释。

① 空间几何图形有公共的交点（线，面，超平面）。

② 这说明b这个向量能够用A的列向量表示，所以说明b这个向量在A的列向量所构成的空间里。比如说A = [a1,a2,…an]，方程组就是x1a1 + x2a2 + …+xnan = b。这里会发生一个兼容就是在一个高维空间里放一个低维度的向量是完全ok的。这时A的秩与[Ab]的秩是一样的（矩阵的秩表示向量构成空间的维数）。

矩阵的基与坐标

首先声明我们讨论的矩阵是非奇异的（是满秩的矩阵）。

假设{a}{b}是两组同一空间中的不同的基，如果有一个矩阵M使得{b} = {a}M那么我们就说M实现了从基{a}到基{b}的一个转换。于是我们得到右乘一个矩阵就是将一组基转换到另一组基。矩阵又一次表示了运动，左乘表示对象的变换，右乘表示坐标的变换。这也就是我们想起了相对运动，固定坐标系下的一个对象的变换相当于固定对象下的坐标系的变换。

接着上面的例子，假设{a}对应的坐标是x，{b}对应的坐标是y那么则有Y = M-1X。左乘一个矩阵就是将一组基中的下标变成另一组基下的下标。由此可见By = Ax 就是说x经过A的变换和y经过B的变换相等就说明了y与x最后经过变换成为了同一个东西。既然是同一个东西我们就可以这样理解有一个向量在A的基下表达为x在B的基下表达为y！而这时我们就可以把这些向量左边乘上矩阵的这种形式看成是一种身份的识别！如Ax是在说有一个向量在A的基下表示为x在B的基下表示为y但是他们本身是同一个向量。实在是震撼！（这里的左乘与前面所说的矩阵表示运动的观点不矛盾）

特殊的矩阵

矩阵的连乘表示变换的叠加，而变换又可以分解为旋转与拉伸。对应到的矩阵就是旋转对应的是旋转矩阵，拉伸对应的是对角矩阵。顺便说一句旋转矩阵有对角矩阵的性质，它是一种对角矩阵。对于旋转矩阵的连乘我们可以看作是把一个向量沿着多个方向的叠加。对于对角矩阵来的连乘来说就是对向量放大或缩小的叠加。而普通矩阵连乘就是旋转与伸缩的叠加。

矩阵的等价与相似

矩阵的等价于相似都是为了简化计算。首先说矩阵的等价。定义上来说存在可逆矩阵P和Q使得PAQ = B我们就说A和B等价。假设A就是一个M×N的矩阵，dim = {M,N}我们就可以说A是dim的一个子空间，而在变换的过程中可逆就是可以变换出去然后在变换回来既然已经可逆了那么就说明了这个变换是不改变矩阵维度的。于是我们得到了A和B的维度相同也就是A和B的秩相同。也就是他们代表了同一个维度的子空间，从可观测和可控制的角度来看他们拥有相同的控制维数。这就是等价矩阵的意义。

上述的等价运算是一种简化运算的方式，而相似变换的也可以达到简化运算的效果。首先给出结论：相似矩阵就是同一个线性变换在不同基下的描述。也就是现在有一个变换如果选取坐标系1这个变换就用A来表示，如果选择坐标系2就用B来表示。但事实上他们描述的是同一个变换。从定义来看存在可逆矩阵P满足B = P-1AP我们就说B和A是可逆矩阵。在前面的描述中我们知道同一个空间可以由不同的坐标系来描述而且他们的坐标有对应的关系。假设现在我们选取的两个坐标系是[α][β]则有[β] = [α]P，那么一个坐标的对应关系就是x2 = P-1x1。

假设下标为1的基为[α]下标为2的基为[β]，从x到y的变化为T。则有x1经过T1得到y1，x2经过T2得到y2。我们已经知道[α][β]之间是有关系的那么T之间又怎样的关系呢？x2 = P-1x1再加上T2的转换就成了y2了，在y2的基础上加一个P的转换就得到了y1了整个过程为PT2P-1X= y1。它与T1X1 = y1是一样的。于是就得到了T2=P-1T1P。这也就是相似矩阵的定义T1与T2为相似矩阵，原来一族矩阵就是同一个线性变换的描述。

矩阵的相似对角化

特征向量

如果存在一个矩阵它对一个向量只发生伸缩变换而不发生旋转效果那么我们称这个向量就是这个矩阵的特征向量。这这个矩阵对向量的作用只是伸缩，这样我们的公式看起来就变得有意义多了Ax = λx。通过式子我们也能够看到特征向量不是一个向量而是一个向量族同时这个向量组线性相关。

对角化矩阵

对角化矩阵的目标是简化运算。对角化的意思就是能够找到一组基使得A变成一个对角矩阵那么原来有关A的矩阵运算就变成了一个对角矩阵的运算（通过前面的描述我们可以知道A与这个对角矩阵是相似的，即同一个东西在不同坐标系下的表示）。对角矩阵给了我们一个简单的角度这种感觉就像是在机器学习中的特征转换一样一个二维的曲线可以分割的资料有可能被一个三维的超平面线性分割；一个样本空间中的随机变量的分布有可能看不出什么特点来但是这个随机变量的函数有可能有非常好的规律性；那么一个矩阵在一个空间中的其中一个坐标系下面表现的非常复杂但是在另一个坐标系下就变得异常简单。

矩阵A对角化的条件就是在这个n维空间中能够找到n个线性不相关的特征向量。当我们找到特征向量的时候这n个特征向量就能够组成一个基然后去表示这个矩阵。求出特征向量再求出特征值我们就能够将有关A与它的特征向量的运算变成数乘运算。得到的矩阵的特征值就是变化的幅度，而特征向量就是变化的方向。

机器学习上的具体应用可以看下这篇文章机器学习之非线性分割（机器学习基石）_量子智能龙哥的博客-优快云博客_线性分割

特征值分解

也称之为谱分解，这里这说明物理意义。一个具有良好性能的矩阵分解成多个作用的叠加，特征值和谱的乘积就代表了它对这个矩阵的贡献，贡献越大权重越大也就越重要。这个和PCA（主成成分分析）有相似的地方，主成成分分析就是将一个复杂的东西（函数，图像，音频等）分解成若干等分，然后留下主要的部分去掉次要的部分。同样的，多项泰勒展开也的阶数越高那么他的权重也就越低，所以平常我们只取一阶、二阶来代替全部的式子从而抓住主要的特性。奇异值分解也是这样的原则。

内积与相关

内积可以衡量两个函数的线性相似度（注意是线性相似度！）。它能够代表两个向量之间的夹角，为了消去长度带来的影响我们通常使用余弦相似度。

当然现实中通常会出现y = ax + b的形式这样的话就会给上面的式子带来麻烦，对应的策略就是让每一个x和y都减去他们对饮的期望值然后在带入上式计算，这也就是著名的皮尔逊相关系数。

实际应用

在实际生活中一个简单地余弦相似度尽然可以做出新闻的分类，比如A新闻向量与B新闻向量的余弦相似度越接近于1（两个向量的夹角越接近于1）则表明这两个向量越接近，那么他们非常有可能是同一类新闻（推荐阅读吴军老师的《数学之美》）。这是一种“距离”的度量与与平常接触到的所谓的直线距离不同，这另一种距离的度量。有缘千里来相会（欧几里得距离远），无缘对面手难牵（两个人的余弦相似度小）。

行列式

行列式有两种意义

① 行列式就是行列式中行或者列构成的“平行多面体”的有向体积。如果将一个行列式对应的矩阵对角化那么就很好理解了。

将行列式矩阵对角化之后就将原来的不规则的多面体变成一个规则的多面体了，它的体积是。它真的是表示几何体的体积！那么原来不规则的体积与现在规则的体积的差别在哪里？②他们之间相差一个坐标变换矩阵的行列式。这也就是第二种解释面积或体积的伸缩因子。行列式是有正有负的但是面积和体积都是正数，所以就有了行列式中的面积和体积的正负代表的是一个方向。比如说xyz都相反的互为镜像。

比如说某三阶方阵A3它可以将左边的正方体变换为右边的平行六面体（图片来自于《马同学图解数学》）：