Lyn_S的博客

本节是本课程的最后一讲. Prof Strang在这一讲主要讲了非方阵的逆. 大量的内容跟之前有关, 算是小小的复习吧.方阵的逆首先, 我们都知道如果一个方阵可逆, 那么AA−1=A−1A=I\bm{AA^{-1}}=\bm{A^{-1}A}=\bm{I}AA−1=A−1A=I...

这一节, Prof.Strang 接着上一讲的内容作了一些补充Eigenvector Basis上一讲我们讲到的那个投影的例子,如果使用 eigenvector 做 basis, 投影变换在此基下的矩阵形式就是一个对角阵. 那么, 这个结果是否通用尼? 答案是肯定的.本节我们只考虑 m=nm=nm=n, 输入输出使用同样的 basis 的情况.Proposition 1: 如果使用 eigenvectors {x1,x2,...,xn}\{x_1,x_2,...,x_n\}{x1​,x2​,...,

在这一节的开始，让我们先短暂忘记矩阵，研究什么是线性变换。实际上，线性变换是比矩阵更 general 的定义。只不过在 linear algebra 中我们用矩阵来分析线性变换。线性变换满足以下两个条件的变换 TTT 我们称为线性变换T(v+w)=T(v)+T(W)T(v+w)=T(v)+T(W)T(v+w)=T(v)+T(W)T(cv)=cT(v)T(cv)=cT(v)T(cv)=cT(v)可以看到，线性变换实际上就是一个线性函数：输入线性组合的输出等于输出的线性组合。Fact 1: T(0)

这一讲我们讲一个重要的矩阵分解，奇异值分解 Singular value decomposition，通常称为SVD.SVD 的基本想法是，任意一个矩阵都能分解为A=UΣV−1=UΣV⊤\bm{A}=\bm{U}\Sigma\bm{V}^{-1}=\bm{U}\Sigma\bm{V}^\topA=UΣV−1=UΣV⊤的形式，其中 U\bm{U}U, V\bm{V}V 均为正交阵，Σ\bm{\Sigma}Σ 是一个对角矩阵。Question: 当 A\bm{A}A 是实对称矩阵时，SVD分解为特征值分

在本节开始前，Prof. Strang 先回顾了一下positive definite matrix，有一些新内容More about positive definiteness如果 A\bm{A}A 正定，则 A−1\bm{A}^{-1}A−1 正定。这个结论直接看特征值就行, A−1\bm{A}^{-1}A−1 的特征值是 A\bm{A}A 的倒数 (不记得的往前看，A\bm{A}A的特征多项式两边同乘 A−1\bm{A}^{-1}A−1 即可得到)，所以也全是正数。if A B

正定矩阵我们之前已经介绍过正定矩阵, 这里在回顾一遍首先我们讨论的矩阵必须是对称矩阵 A⊤=A\bm{A}^\top=\bm{A}A⊤=A, 其次，我们希望它满足所有特征值都是正数，or所有pivots都是正数， or所有子行列式都是正数，orx⊤Ax>0\bm{x}^\top\bm{A}\bm{x}>0x⊤Ax>0, ∀x≠0\forall \bm{x}\neq\bm{0}∀x​=0.之前没涉及到的就是第四点，实际上这一点也是大多数教科书用来定义正定矩阵的性质。这一节

这一讲我们来讲一下复矩阵。线性代数中，复矩阵是避免不了的话题，因为一个简单实矩阵都有可能有复数特征值。复矩阵我们着重看一下复矩阵和实矩阵在运算上的区别。距离首先，一个复数向量的的距离求法发生了变化x⊤x  →  xHx\bm{x}^\top\bm{x}~~\rightarrow~~ \bm{x}^H\bm{x}x⊤x  →  xHx其中，xH\bm{x}^HxH 指的是共轭转置。相应的，内积也发生了变化内

对称矩阵的特征值和特征向量这一节，我们首先研究一类重要的矩阵，实对称矩阵，的特征值和特征向量。性质我们的主要结论是实对称矩阵的特征值全部是实数。实对称矩阵可以取到 nnn 个正交的特征实向量。原因为什么所有实对称矩阵的特征值全部是实数尼？我们只用对比Ax=λx    (1)\bm{Ax}=\lambda\bm{x}~~~~(1)Ax=λx    (1)Ax‾=λ‾x‾   &n

这一节里，我们先介绍一类重要的矩阵: 马尔科夫矩阵。有很多系统都可以建模为 Markov Matrix，特别的，从某个初始状态开始，每次按照 Markov Matrix 来状态转移，最终系统都会进入一种稳态 (steady state)。在之前的两讲中，我们分别介绍了矩阵的幂和difference equation的解, 矩阵的指数函数和differential equation的解。他们最终都可能进入steady state (分别取决于 1 特征值 和 0 特征值)。Markov matrix 对应的是

上一讲我们主要讲了差分方程 (difference equation) 和矩阵的幂 (powers of matrix) 之间的联系。主要的 insight 是把差分方程的每次递归, i.e., 从{ak, ak−1, ...}\{a_k,~a_{k-1},~...\}{ak​, ak−1​, ...} 到 ak+1a_{k+1}ak+1​, 表示成一种矩阵关系。这样一来，若干次递归之后的结果相当于初始条件乘以一个矩阵的 KKK 次方。而差分方程最后的解是否 stab

这一节我们来介绍特征值和特征向量的应用矩阵的相似对角化当矩阵有 nnn 个线性无关的特征向量时，矩阵可以相似对角化，即A=SΛS−1    (1)\bm{A}=\bm{S}\Lambda \bm{S}^{-1}~~~~(1)A=SΛS−1    (1)其中 S\bm{S}S 是 nnn 个线性无关的特征向量作为列组成的矩阵. 注意，有没有 nnn 个线性无关的特征向量和矩阵可不可逆没有直接关系，因此可逆矩阵不一定可以相似

ok, 终于进入了第二部分的核心，特征值和特征向量。作为开始，我们可以把矩阵想象成一个函数，普通的函数，给他一个 xxx, 它输出一个 yyy, 对于矩阵 A\bm{A}A 来说，给定一个 vector x∈Rn\bm{x}\in\mathbb{R}^nx∈Rn, 它输出一个 y∈Rm\bm{y}\in\mathbb{R}^my∈Rm:Ax=y\bm{Ax=y}Ax=y因此当 A\bm{A}A 是方阵时，它相当于是 Rn\mathbb{R}^nRn 空间中的一个变换，把一个 vector 转换成另一个

这一节，Prof. Strang主要讲了行列式的两个（并不是很实用的）应用：求矩阵的逆，克拉默法则解 Ax=b\bm{Ax=b}Ax=b。最后又讲了矩阵行列式的物理意义。用行列式求矩阵的逆先把结论摆出来A−1=1detAC⊤\bm{A}^{-1}=\frac{1}{\text{det}\bm{A}} \bm{C}^\topA−1=detA1​C⊤这种求逆的方法很是clumsy，通常用的还是 Gauss-Jordan 消元。克拉默法则行列式的物理意义...

好，这一讲我们开始正式定义矩阵的行列式。首先，我们复习一下上一讲中行列式的三个基本性质。单位阵的行列式是 111；∣I∣=1|\bm{I}|=1∣I∣=1互换矩阵两行，行列式异号；∣A∣=−∣A′∣|A|=-|A'|∣A∣=−∣A′∣矩阵其他行不变的情况下，对某一行进行线性操作后得到的矩阵的行列式是之前矩阵行列式的线性组合。∣a1a2ca3ca4∣=c∣a1a2a3a4∣\begin{vmatrix}a_1 & a_2 \\ca_3 & ca_4 \\\end{

从这一讲开始，我们正式进入 linear algebra 的第二部分。之前在第一部分，我们关注的是怎么解方程 Am×nxn×1=bm×1\bm{A}_{m\times n}\bm{x}_{n\times 1}=\bm{b}_{m\times 1}Am×n​xn×1​=bm×1​，并围绕这个问题定义了一套矩阵方法来求解。在第二部分，我们将focus on the square matrix 方阵。作为开始，我们希望能用一个实数在某种程度上衡量一个方阵的性质。这个实数就是矩阵的行列式 determinant

orthonormal matrices QQ⊤QQ^\top QQ⊤Qwhy we would like to study orthonormal matricesmake life easy for projection matricesQQ⊤Q Q^\topQQ⊤How to transform a full column rank matrix to a orthonormal matrices.Gram-SchimdtQR 分解

这一讲，Prof. Strang着重讲 projection的应用。Problem: 二维空间中有三个点 (1,1), (2,2), (3,2) 找到一条最优的线来拟合它们。假设方程是y=kx+cy=kx+cy=kx+c那么其实我们是想找一条线使得1=k+c1=k+c1=k+c2=2k+c2=2k+c2=2k+c2=3k+c2=3k+c2=3k+cThat is, 解方程Ax=b\bm{Ax=b}Ax=b[112131][kc]=[122]\begin{bmatrix}1 &

这一讲主要是在说，一个 Rm\mathbb{R}^mRm 维空间中的点 (也就是一个 vector) 怎么样被投影到Rm\mathbb{R}^mRm 的一个 subspace 上的。Motivation: 对于方程 Ax=b\bm{Ax=b}Ax=b，我们之前已经知道它有解的充要条件是 b\bm{b}b 在 A\bm{A}A 的 column space C(A)C(\bm{A})C(A) 中。那么，如果 b\bm{b}b 不在 C(A)C(\bm{A})C(A) 中怎么办尼 （比如我们不停地对卫星的位

这一讲主要讲了三点matrix spacerank 1 matrixsmall world graph但这里我们只讲第二点. 第一点很容易理解，Prof.Strang主要想传达的是space, basis这一套想法不仅仅限于vector; 第三点在下一讲会详述关于rank 1 matrix，Prof. Strang也没有多讲，它主要强调的是，rank 1 matrix 是所有矩阵的基石。而且，任何一个rank 1 matrix 都能写成一个列乘以一个行的形式，比如[2464812]=[1

这一节是相当于对之前所有内容的一个总括，也是对线性代数的研究对象 – 矩阵 – 的一个总结 （从vector space的角度）。这四个space分别是Column space C(A)C(\bm{A})C(A).Null space N(A)N(\bm{A})N(A).Row space C(A⊤)C(\bm{A}^\top)C(A⊤).Left null space N(A⊤)N(\bm{A}^\top)N(A⊤).其中 C(A)C(\bm{A})C(A) 和 N(A)N(\bm{A})

本节内容都是一些定义，实际上我们之前已经接触过了。让我们总结一下：linear independent 线性独立给定一组向量 {v1,v2,...,vn}\{\bm{v_1,v_2,...,v_n}\}{v1​,v2​,...,vn​}，若c1v1+c2v2+...+cnvn=0c_1\bm{v_1}+c_2\bm{v_2}+...+c_n\bm{v_n}=0c1​v1​+c2​v2​+...+cn​vn​=0仅有零解 c1=c2=...=cn=0c_1=c_2=...=c_n=0c1​=c2​=.

一直没看过Prof. Strang的线性代数课程, 现在越来越觉得线性代数的重要. 从这一节开始, 我们按照Prof. Strang的课程思路回顾一下线性代数的内容.第一讲介绍了线性代数的基本问题,那就是求解一个线性方程组的解. 比如我们有如下关于x1,x2,x3x_1,x_2,x_3x1​,x2​,x3​的线性方程组a11x1+a12x2+a13x3=b1a21x1+a22x2+a23x3=b2a31x1+a32x2+a33x3=b3a_{11}x_1 + a_{12}x_2 + a_{13}x_3

这一讲我们来研究非齐次线性方程组 Ax=b\bm{Ax=b}Ax=b 解的情况。Solvability 可解性之前我们在讲 column space 的时候已经讲过，欲使非齐次线性方程组 Ax=b\bm{Ax=b}Ax=b 有解，b\bm{b}b 必须在 A\bm{A}A 的 column space C(A)C(\bm{A})C(A) 中。但是有解也分为唯一解和无穷解，所以，什么时候 Ax=b\bm{Ax=b}Ax=b 有唯一解，什么时候有无穷解尼？在这一讲我们会发现，矩阵的 rank 会给出答案。

在上一节的末尾，我们提到了齐次线性方程组的解，这一节中，Prof. Strang详细探讨了计算齐次线性方程组解的算法。先总结一下主要结论：Input: A\bm{A}AOutput: x\bm{x}x, s.t., Ax=0\bm{Ax=0}Ax=0.start from Ax=0\bm{Ax=0}Ax=0compute the echelon form Ux=0\bm{Ux=0}Ux=0compute the reduced echelon form Rx=0\bm{Rx=0}Rx=0wri

上一讲中，我们介绍了vector space的定义，我们知道了vector space必须对线性组合（加，数乘）闭合。在这一讲里，Prof. Strang重点介绍了矩阵的两个subspace：column space and null space.Subspace的union和intersection在正式介绍之前，我们先看一个subspace的性质。假设 VVV， WWW 分别是 Rn\mathbb{R}^nRn 的subspace，那么V∪WV\cup WV∪W 并不是一个vector spa

好， 本节我们接着上一节的话题 LULULU 分解。上一节中，我们的结论是，一类不需要row exchange的满秩矩阵是可以进行LULULU 分解分解的，这一节，我们将研究另一类需要行变换的矩阵permutation matrix在进入正题之前，我们先讨论一类特殊的矩阵permutation matrix。这一类矩阵是由单位仅经过row exchange得到的矩阵，比如size是3的单位阵 I3I_3I3​ 经过行变换后会得到以下6个矩阵：[100010001][100001010]\begin{b

在正式开始这一讲的内容之前, Prof. Strang补充了两个知识点.(AB)−1=B−1A−1(AB)^{-1}=B^{-1} A^{-1}(AB)−1=B−1A−1(A⊤)−1=(A−1)⊤(A^\top)^{-1}=(A^{-1})^\top(A⊤)−1=(A−1)⊤这俩还是很简单的, 比如 ABC=IABC = IABC=I, 显然 C=B−1A−1C=B^{-1} A^{-1}C=B−1A−1. 再比如A⊤C=IA^\top C=IA⊤C=I, 两边转置 C⊤A=IC^\top A=IC⊤

这一节, Prof. Strang 着重讲了矩阵乘法的四种理解方式和矩阵的逆.矩阵乘法的四种理解方式首先我们给出矩阵乘法Am×kBk×n=Cm×n\bm{A_{m\times k}B_{k\times n}=C_{m\times n}}Am×k​Bk×n​=Cm×n​[a11a12a13⋯a1ka21a22a23⋯a2k⋯⋯⋯⋯⋯am1am2am3⋯amk][b11b12  ...b1nb21b22  ...b2nb31b32  ...b3

第一讲中, 我们知道了线性方程组和矩阵的关系, 以及从行和列的角度如何观测一个矩阵.在第二讲中, Prof. Strang着重于用矩阵的语言阐述解方程的过程.首先, 给定一个方程组, 我们会怎么解尼?[a11a12a13a21a22a23a31a32a33][x1x2x3]=[b1b2b3]\begin{bmatrix}a_{11} & a_{12} & a_{13} \\a_{21} & a_{22} & a_{23} \\a_{31} & a_{32}