MIT18.06线性代数笔记2

最新推荐文章于 2024-08-16 13:24:28 发布

Falling_Asteroid

最新推荐文章于 2024-08-16 13:24:28 发布

阅读量1.6k

点赞数 22

CC 4.0 BY-SA版权

分类专栏： MIT18.06线性代数文章标签：线性代数笔记机器学习

本文链接：https://blog.youkuaiyun.com/Falling_Asteroid/article/details/134958496

文章目录

正交向量与子空间

向量正交：x^Ty=0
在这里插入图片描述

空间正交：S中每个向量与T中每个向量正交

行空间正交于零空间，同理列空间正交于左零空间
在这里插入图片描述

在实际应用中，数据可能会有干扰项，此时会导致Ax=b无解，使用A^TAx=A^Tb得到最优解，去除干扰

A^TA不一定可逆，如果要可逆则A的列线性无关

子空间投影

在二维空间中，p是b在a上最接近a的向量（投影）：

化简得
$\begin{aligned} a^Tb &= xa^Ta\\ x &= \frac{a^Tb}{a^Ta}\\ 代入得 &p=a\frac{a^Tb}{a^Ta} \end{aligned}$
b翻倍p也翻倍，a翻倍p不变

投影是由矩阵完成的（投影矩阵）：
$p=Pb\\ 根据p=a\frac{a^Tb}{a^Ta}得：P=\frac{aa^T}{a^Ta}$
a^Ta是数字，aa^T是列向量乘行向量

这个矩阵的列空间C§=a所在的直线，因为这个矩阵乘b变成了b在a直线的投影

rank§=1，因为P由列乘行产生，这一个列是列空间的基

P是对称矩阵，转置是它自己

P²=P，再投影一次不变

为什么做投影：因为Ax=b可能无解，此时只能求解最接近的那个可解问题Ax=p，p即是b在列空间的投影

在三维空间中：

空间中平面由a1，a2两基向量产生，A=[a1 a2]，b在平面上的投影为p，需要求出x使得Ax=p

e=b-Ax，e垂直于平面（也就垂直于a1和a2）
$a_1^T(b-Ax)=0 \\ a_2^T(b-Ax)=0 \\ 整理成矩阵： A^Te= \begin{bmatrix} a_1^T\\ a_2^T \end{bmatrix} (b-Ax)= \begin{bmatrix} 0\\ 0 \end{bmatrix}$
e位于A的转置的零空间，因为左零空间正交于列空间，所以e垂直于A的列空间

$\begin{aligned} A^TAx &= A^Tb\\ x &= (A^TA)^{-1}A^Tb\\ 代入得p &= Ax=A(A^TA)^{-1}A^Tb \end{aligned}$
这里的A(A^TA)^-1A^T相当于投影到一维空间时的aa^T/a^Ta，就是投影矩阵P
$当A为可逆方阵时，P=A(A^TA)^{-1}A^T=AA^{-1}(A^T)^{-1}A^T=I\\ 因为A为n\times n可逆方阵时，列空间为整个n维空间，把n维空间中的b投影到整个n维空间，投影矩阵为单位矩阵$
投影矩阵的特性：

P^T=P
P²=P：P²=A(A^TA)^-1**(A^TA)(A^TA)^-1**A^T=A(A^TA)^-1A^T=P

应用：通过最小二乘法拟合一条直线

At=b无解，但是A^TAt=A^Tb有解

投影矩阵和最小二乘

b一般会和平面有夹角，此时有垂直于平面和平行于平面的两个分量，平行的分量就是投影，投影矩阵就是把垂直的分量去除

若b在A的列空间里，Pb=b，即b在平面上

若b正交于A的列空间，Pb=0，即b垂直于平面

e也是一个投影，投影矩阵是(I-P)，投影到了与P投影的空间相互正交的空间（这里是左零空间）

最小二乘：找拥有最小的各个误差的平方和的解
$\|e\|^2=\|Ax-b\|^2\\ 最小二乘：使e^2_1+e^2_2+e^2_3最小的解$

$x=(A^TA)^{-1}A^Tb$

线性回归分析：用误差的平方和作为测量总误差的标准

最小二乘法容易受到离群值的影响

无标题

p+e=b

若矩阵A各列线性无关，则A^TA可逆

证明：
在这里插入图片描述

互相垂直的各列一定线性无关（除零向量），这些互相垂直的列向量组成的向量组是标准正交的（标准正交向量组）

正交矩阵和Gram-Schmidt正交化

标准正交向量组中，向量相互正交，即转置相乘为0（内积），但与自身不正交，所以转置相乘为1：

标准正交向量组组成的矩阵（标准正交矩阵）：Q^TQ=I

当标准正交矩阵是方阵的时候（有逆矩阵）称为正交矩阵
$Q^TQ=I\\ Q^T=Q^{-1}$
当有一个方阵时，列互相正交、列向量的长度为1，那么就是正交矩阵：阿德玛矩阵

当投影到Q的列空间中：
$P=Q(Q^TQ)^{-1}Q^T=QQ^T\\ 当Q是方阵时，P=QQ^T=I$
而对于拟合过程：
在这里插入图片描述

即已知标准正交基，则在第i个基方向上的投影就等于q_i^Tb

格拉姆-施密特正交化：

从两个线性无关向量开始，取一个向量相对另一向量的垂直分量（e部分），获得一对相互正交的向量A和B，然后向量除长度从而标准化

$B=b-p=b-\frac{A^Tb}{A^TA}A\\ 投影p=a\frac{a^Tb}{a^Ta}$
证明：A⊥B
$A^TB=A^T(b-\frac{A^Tb}{A^TA}A)=0$
如果再有c要正交化：
$C=c-p_{c在A上的投影}-p_{c在B上的投影}=c-\frac{A^Tc}{A^TA}A-\frac{B^Tc}{B^TB}B$

正交化后得到的向量组成的空间一样和原来线性无关的向量组成的列空间一样，但是正交化标准化后的Q=[q₁ q₂]比原来的[a b]要好

消元法矩阵表达式：A=LU

格拉姆-施密特法的矩阵表达式：
$\begin{aligned} A&=QR\\ \begin{bmatrix} a & b \end{bmatrix} &= \begin{bmatrix} q_1 & q_2 \end{bmatrix} \begin{bmatrix} a^Tq_1 & b^Tq_1\\ a^Tq_2 & b^Tq_2 \end{bmatrix}\\ &(a^Tq_2=0) \end{aligned}$