线代

1.矩阵就是映射

1)mxn表示从n维空间到m维空间的一个映射

而且矩阵的列向量就是原来该列基地被映射后到达的终点。（矩阵各列实际上是各个单位向量e1,…,en移动的目标点）(各个列向量的本质是各个坐标轴方向上的单位向量e,…,em经过映射后到达的目标点)

考虑 A=[2,1;1,3], 则e1 = (1,0)' 被移动到(2,1)’, e2 = (0,1) 被移动到(1,3)’

2)矩阵的乘积=映射的合成

先A后B便是BA，如 （BA）x = B(Ax)

操作顺序和书写顺序相反

3）矩阵的乘方=映射的迭代

AAA = A^3

(A+B)^2 = A^2 + AB + BA + B^2

(A+B)(A-B) = A^2 - AB + BA - B^2

(AB)^2 = ABAB

4)对角矩阵与坐标系选取有关，而单位矩阵和零矩阵无关。

5）矩阵的逆

逆矩阵=逆映射

A^-1A = AA^-1 = I

A是方阵时，XA = I <=> AX = I

(AB)^-1 = B^-1A^-1 #先B后A，还原需要先逆A后逆B

对角矩阵A对应的映射，表示的是沿着坐标轴方向的伸缩操作。因此如果A=diag(a1,…,an) ,则A^-1 = diag(1/a1, …, 1/an)

分块对角矩阵的乘方以及求逆与对角阵类似。可由分块矩阵的乘法推导

6）转置

(ABCD)’ = D’C’B’A'

2.行列式

1)行列式 = 体积扩大率

determinant

2阶方阵a = (a1,a2)的行列式可以解释为由向量a1，a2围城的平行四边形的面积。（面积为1的正方形进过改变换得到的正式该平行四边形）。

3阶方阵，则是由向量a1,a2,a3所围城的平行六面体的体积

2）性质

det I = 1

det(AB) = det(A)det(B)

det(A^-1) = 1/det(A)

if det(A) =0 ,A^-1不存在

把一列a2乘以常数c加到另一列a3上,相当于横向（向a2方向）挪动，因此行列式不变

det(a1,a2,a3 + c*a2) = det(a1,a2,a3) + det(at,a2,c*a2) = det(a1,a2,a3) #第二项为0

多重线性：det(a1 + a1’, a2,…,an) = det(a1,a2,…,an) + det(a1’, a2,…,an)

det(cA) = c^n*det(A) #每列增大c倍，共增大c^n倍

行列式交替性：行列式的正负符号对应了图形的镜像翻转？于是交换两列会改变行列式正负

伴随矩阵与逆矩阵：skip

A^-1 = 1/det A * adj A

3.线性方程组

1）逆矩阵求解方法之应用线性方程组

2）逆矩阵求解方法之应用分块矩阵表示的解法

   (A | I) -> (I | X)

    X就是A^-1

    流程是，首先在A的右边添加单位矩阵，其次通过变形将左侧区块（A）变成I，则有测区块（I）就是A^-1

3)初等行变换包括三种，分别是某行乘以c；将某行的c倍加到另一行上；交换两行。都可以用乘上一个矩阵的形式表示出来。

比如反对角三阶单位矩阵表示交换1，3行

    附加：初等列变换，就是右乘变换矩阵。

3）当矩阵的m != n,会出现恶性问题。若m<n,则可以看做解线性方程组时线索不足，信息被压缩，求解。若m>n,线索过剩，如果存在线索矛盾的情况也很麻烦。

4）ker A定义：对于给定的A，在映射的作用下满足Ax = o的x的集合称为A的核，记为 Ker A。考虑3维到两维的映射，通常会有某条直线上的点都被压缩到O点，此时ker A的是1维的。（定义域）

5）Im a:对于给定的A，将x进行各种不同的变换，在A的作用下，y = Ax 构成的集合,称为A的像(image),记为Im A.也就是把原空间通过A变换到目标空间中对应的领域？（比如平面，则维度为2，指的是值域）

6）核与像

    a：对于相同的y，引起它的原因是唯一的

    b: 无论什么样的结果有，都可以找到导致它的相应的原因x

    单射：如果a成立则y=ax是单射

    满射：如果b成立则y=ax是满射

    如果同时成立，则y=ax是双摄

    正式结论是：

    Ker A仅包含原点 <=> 映射为单射

    Im A与目标空间全体一致 <=>映射为满射（否则Im A之外的点y，不存在对应的x）

7）维数定理

    对于mxn的矩阵A，有

        dim Ker A + dim Im A = n

    有以下推论：

    如果m<n,则A不会是单射；如果m>n,A不会是满射。

8）rank的定义是把Im A的维数dim Im A命名为A的rank。

    因此6）中的条件可以被改为：

    a:Ker A是否只包含原点o一点     <=> Ker A是0维吗

    b：Im A是否覆盖了整个m维空间    <=>Im A是m维吗

    再次改写：

    rank A  = n （rank与原空间维数相等） <=> A是单射

    rank A = m (rank与目标空间维数相等）<=> A是满射

    瓶颈性分解：将A分解为两个子矩阵即宽仅为r的矩阵B和高仅为r的矩阵C的乘积。A=BC.若可以如此分解，则rank必定不超过r。

9）下述关于可逆性等价的结论：

    a:对于任何n维向量y，使得y = Ax成立的x都只有一个

    b:A是可逆矩阵

    c:A对应的映射为非“压缩扁平化”映射

        c’：A对应的映射是单射

    d:使得Ax = o成立的仅有x = o一个值

        d’：Ker A仅包含原点o一点

            d’’：dim Ker A = 0

    e:A的列向量线性无关

    f：在A的映射作用下，目标空间可以全部被覆盖到

        f’:A对应的映射是满射

            f’’：Im A是n维空间全体

    g：rank A = dim Im A = n

    h: det A != 0

    i: A不含0特征值

    j:上述结论对A’同样成立

    

4.LU分解

定义：给定矩阵A，将A表示成下三角矩阵L和上三角矩阵U的乘积

目的：快速求解线性方程组

5.对角化，特征值

1)稳定与失控 对于对角矩阵，只要对角元素中有一个值大于1，系统会失控。

 2）可对角化 

对于原变量x(t),给定矩阵P，用如下变化得到新的变量y(t).

x(t) = Py(t)

考虑xt = Ax(t-1)的差分方程，有y(t) = P^-1*x(t) = P^-1*A*x(t-1) = P^-1*A(Py(t-1)) = (P^-1AP)y(t-1)

若A’ = P^-1AP是对角阵，则

y(t) = A’^t*y(0)

引入对角化的定义：选择合适的可逆矩阵，使得P^-1AP是对角矩阵

3）将上述问题分解成列向量来考虑。

P = (p1,…,pn)

目标编程找到对角化所需的P

P^-1AP = A’

AP = PA’*

即(Ap1,…,Apn) = (lamda1*p1, …,lamda n * pn)

结论：特征值的绝对值中只有有一个大于1，则会失控

4）令lamda， p为方阵A的特征值和特征向量，则：

    A有0特征值等价于A是奇异矩阵

    ap（a！= 0）也是A的特征向量，对应的特征值也是lamda

    若对于特征值lamda，另有向量q也是其特征向量，那么p+q也是A的特征向量

    p也是alpha*A的特征向量，对应特征值是alpha*lamda

    p也是A + alpha*I的特征向量，对应特征值是lamda+alpha

    p也是A^k的特征向量，对应特征值是lamda^k

    p也是A^-1的特征向量，对应的特征值是1/lamda

    对于分块矩阵D:

        A O O

        O B O

        O O C

若p是A的特征向量（特征值是lamda），q是B的特征向量（特征值u），r是C的特征向量（特征值是v），则

(p,o,o)’，(o,q,o)’, (o,o,r)’是D的特征向量，对应特征值分别是lamda,u,v

对于上下三角矩阵俩说，特征值就是对角元素，不过特征向量比较复杂

对于大小和A相同的可逆矩阵S，S^-1p是S^-1AS的特征向量，特征值为lamda。相似变换下特征值不变.(相似变化可以用坐标变换来解释)

行列式等于特征值的乘积

推导：det(P^-1AP) = det(P-1)detAdetP = 1/detP * detA *detP = det A

不相等的特征值对应的特征向量线性无关

推论：若nxn矩阵A有n个互不相同的特征值lamda1，。。。，lamda n。则由其对应的特征向量p1,…,pn组成的矩阵P = (p1,…,pn)可逆，并且通过 P^-1AP = diag(lamda1,…,lamda n)可以将A对角化。逆命题不成立。有重复特征值也可能可以对角化，比如I

5）特征方程

    Ap = lamda*p => (lamda*I - A)p = 0

因此矩阵（lamda*I - A）对应压缩扁平化操作，一定是奇异矩阵，行列式为0。反之如果det(lamda*I - A) = 0，则(lamda*I - A)是奇异矩阵，这是存在某非o向量，在乘上(lamda*I - A)后可以变为o。因此lamda是A的特征值与fi(lamda) = det(lamda*I - A)的值为0等价。fi(lamda)称为特征多项式。fi(lamda) = 0称为特征方程，而且该方程是lamda的n次多项式。将其展开：fi(lamda) - lamda^n - a(n-1)lamda^n-1 + a(n-2)lamd^n-2 - …+ (-1)^n*a(0)。而且对于和A大小相同的任何可逆矩阵P，经过P的相似变换，特征方程不变。也就是系数a(n-1),…,a0是不变的。其中a0就是行列式det A，因为fi(0) = det(0*I - A) = det(-A) = (-1)^n*detA

所以a0 = det A;另外最高此项系数a(n-1)称为trace.(Tr A).trace的值等于对角元素的和。Tr A等于A的所有特征值的和。相似变换不改变trace。

6）凯特哈密来定理？将适用于数的多项式用矩阵代入。方便计算矩阵的乘方。

7）然而对于连续时间系统，在A可对角化的情况下，如果A的特征值lamda1,…,lamda n的实部只有有一个是正数，则有失控危险。离散时间系统和连续时间系统的判定条件完全不同。

8）不可对角化的情况

离散系统x(t) = Ax(t-1)，其他条件下结论大体没变。若所有特征值满足lamda =< 1,并存在|lamda| = 1的特征值，则仅凭特征值无法判定。

连续系统d x(t)/dt = Ax(t).若所有特征值满足lamda =< 1,并存在Re lamda = 0的特征值，则仅凭特征值无法判定。

即时不能对角化，也可以得到与对角阵很接近的形式—jordan标准型。具体形式为：分块对角阵处理对角区块外，都是0；对角区块满足：位于对角线上的元素相同；对角线右上方斜线上的元素全部是1。对于jordan 标准型的特征值，可以按照分块去考虑，得到：对角元素就是特征值，对角线上有几个相同的lamda，对应的特征值lamda就是几重根（代数）；对角线上市lamda的jordan块有几个，对应的线性无关的特征向量就有几个（几何）

当特征值中不存在重根，则矩阵可以对角化。

6.特征值解法，jacobi和QR方法

1)旋转矩阵

引入nxn维的平面旋转矩阵R(theta, p,q)。其中p,q表示列，组合的四个位置是下述2x2矩阵R(theta)的值：

    cos theta    -sin theta

    sin theta    cos theta

该矩阵对应了沿着p，q维的旋转操作，其他维度不变。

R(theta) R(theta)’ = I，因此其转置矩阵等于逆矩阵

2)jocobi

对于给定的矩阵A，选择不同的p,q,theta,通过平面旋转反复进行如下操作，知道矩阵变成接近对角化为止。

A’ = R(theta, p, q)’AR(theta, p,q)

该矩阵的操作影响范围是p,q的行和列形成的井字形区域。若希望a(p,q) = 0，可以求得theta = ….

为了评估对角化的程度，引入两个函数：

f(A) = sum a(i,j)^2 for all i!=j    #非对角元素平方和

g(A) = sum a(i,i) for all i            #对角元素平方和

每次变换会有a(p,q),a(q,p)两处的值从f(A)跑到g(A),故f(A)’ = f(A) - 2a(p,q)^2

3)幂法原理

基本功能是求最大特征值。恰当选取初始变量v，如果反复左乘A，则会渐渐靠近A的绝对值最大的特征值对应的特征向量x1的方向。可以选择适当的初始向量，使其表示为A的特征向量的线性组合形式。

v = v1x1 + … + vn*xn

则：

A^kv = v1*A^k*x1 + … + vn*A^n*xn = v1*lamda1^k*x1 + … + vn* lamda n ^k * xn

同除lamd1^k，则除了最大特征值之外的项都趋近于0。并且按照伸缩倍数可以估计出lamda1.

4）QR分解求所有特征值

任意一个列向量线性无关的矩阵A都可以分解乘正交矩阵Q和上三角矩阵R的乘积形式。

流程：

a.对需要求解特征值得矩阵进行QR分解

b.对于分解的结果进行逆向相乘

重复这两部

也就是：

A0  = Q0R0 -> A1 = R0Q0

A1 = Q1R1 -> A2 = R1Q1

…

Ak = QkRk -> Ak+1 = RkQk     #Ak趋向于上三角矩阵

Ak+1 = RkQk = Qk^-1 (QkRk) Qk = Qk^-1 Ak Qk     #用Qk做相似变换，特征值不变