一个搬运知识的笨小孩

简单了解jacobi、Gauss-Seidel、SOR迭代法

简要介绍雅克比矩阵的含义及用处

从线性代数的基石--四大子空间构建起线代框架

简要理解秩零化度定理

一张图简要整理线性代数中的一些名词及其关系

从线性代数角度透彻图解：非齐次通解、非齐次特解、齐次通解、齐次特解之间的关系

简要介绍秩与方程组解的关系、秩与平面位置的关系

1.二次曲面是如何分类二次曲面的【转自：YourMath】2.如何理解二次型的定义【转自：YourMath】研究二次型的目的刻画所有二次曲线、二次曲面的图像为什么只需研究二次项？一次项的变化不会改变图像的形状，改变的仅仅是图像的对称轴和顶点、常数项仅仅会改变图像顶点要研究将所有的二次曲线和二次曲面分类，一般情况下研究二次项部分就足够了，而且每一个二次项的部分都不能少3.如何理解二次型的线性替换【转自：YourMath】为什么需要引入线性替换？某函数图像在原坐标系中的表达式较为复杂

1.如何理解等价关系【转自：YourMath】2.如何理解相似矩阵【转自：YourMath】3.如何理解矩阵的相似对角化【转自：YourMath】对角化的目的：1.对角化使线性变换形式变得简单，虽然简单，但能表示与复杂矩阵一样的线性变换2.为矩阵的幂运算提供了工具，对角矩阵的幂运算直接就是对角元素取幂4.图片压缩与降噪背后的线性代数【转自：YourMath】...

1.计算二阶矩阵特征值的技巧笔记来源：计算二阶矩阵特征值的妙计1.1 平均特征值1.2 特征值的积1.3 求解特征值根据以上两点，求出特征值mmm 为平均特征值 λ1+λ22\frac{\lambda_1+\lambda_2}{2}2λ1​+λ2​​（两个特征值 λ1、λ2\lambda_1、\lambda_2λ1​、λ2​ 关于平均特征值中心对称）ppp 为两个特征值 λ1、λ2\lambda_1、\lambda_2λ1​、λ2​ 的积（m−dm-dm−d 为 λ1\lambda_1λ1

1.二次型二次型（quadratic form）：n个变量的二次多项式称为二次型，即在一个多项式中，未知数的个数为任意多个，但每一项的次数都为2的多项式。它起源于几何学中二次曲线方程和二次曲面方程化为标准形问题的研究（引用自：二次型）笔记来源：3 分钟看懂 “二次型”，最直观三维演示1.1 规范形规范形：系数只能含 -1、1、0例如：1.2 标准形1.3 普通二次型下图中黄色球为规范形，经过变形称为普通二次型1.4 正定二次型正定二字可暂时理解为圆圆胖胖的1.5 不正定

1.行列式是否为零串联线代知识笔记来源：满分线性代数——之思维导图篇1.1 行列式不为01.2 行列式为0

1.若尔当型1.1 Choosing the Best Bases将矩阵对角化后，选择其列向量作为基向量（对角矩阵只有缩放作用，而没有旋转作用）用标准基（单位矩阵的列向量）经过线性变换产生矩阵AAA，此矩阵可能不是对角的。当我们选择不同的基向量时，对于同一个线性变换可以用不同矩阵表示关于选择基向量，目前两个不错的选择：1.特征向量、2.奇异向量1.1.1 选择特征向量作为基向量例子：det A=0=λ1λ2tr A=1=λ1+λ2λ1=1、λ2=0Ax1=λ1x1x1=

快速傅里叶变换傅里叶的思想：将函数 fff 表示成类似于调和级数∑ckeikx\sum c_ke^{ikx}∑ck​eikx，这个函数是通过频率空间中的系数ckc_kck​呈现出来，而不是通过物理空间中的函数值f(x)f(x)f(x)来呈现函数下图来自：傅里叶分析之掐死教程（完整版）更新于2014.06.06主要思想：笔记来源于：The Fast Fourier Transform (FFT): Most Ingenious Algorithm Ever?表达多项式的两种方法：1.系数表示

复向量1.1 实向量和复向量的对比1.2 复数平面1.3 复向量的极坐标形式在离散傅里叶变换中使用 w=e2πi/nw=e^{2\pi i/n}w=e2πi/nw=e2πi/nw2=e4πi/nw4=e8πi/n⋮wn=e2πiw=e^{2\pi i/n}\\w^2=e^{4\pi i/n}\\w^4=e^{8\pi i/n}\\\vdots\\w^n=e^{2\pi i}w=e2πi/nw2=e4πi/nw4=e8πi/n⋮wn=e2πi...

1.基的变换、矩阵的构造1.1 基的变换WB=VB=W−1VWB=V\\B=W^{-1}VWB=VB=W−1V1.2 矩阵的构造构造某个求导的矩阵构造某个积分矩阵为什么要写成伪逆A+A^+A+呢？因为矩阵AAA为方阵，其不存在逆矩阵

酉矩阵/幺正矩阵酉矩阵Q的列向量都是标准正交的酉矩阵的特征值的绝对值为1例子：判断三阶傅里叶矩阵是否为厄米特矩阵？是否为酉矩阵？矩阵满足A=AHA=A^HA=AH的为厄米特矩阵、矩阵满足列向量都是标准正交的为酉矩阵上图中e4π3ie^{\frac{4\pi}{3}i}e34π​i是e2π3ie^{\frac{2\pi}{3}i}e32π​i的共轭【即关于实轴对称】判断是否为厄米特矩阵FˉT=FH=13[1111e−2πi/3e−4πi/31e−4πi/3e−2πi/3]≠F

1.厄米特矩阵（Hermittan Matrix）1.1 共轭转置向量的共轭转置矩阵的共轭转置1.2 复向量的长度实向量的长度xTx=[x1⋯xn][x1⋮xn]=∣x1∣2+⋯+∣xn∣2\boldsymbol{x}^T\boldsymbol{x}=\begin{bmatrix}x_1\cdots x_n\end{bmatrix}\begin{bmatrix}x_1 \\ \vdots\\x_n\end{bmatrix}=|x_1|^2+\cdots+|x_n|^2xTx=[x1

伪逆（Pseudoinverse）The pseudoinverse A+A^+A+ — the best inverse when the matrix AAA is not invertible行空间向量vi\boldsymbol{v}_ivi​乘矩阵AAA得到列空间向量 σiui\sigma_i\boldsymbol{u}_iσi​ui​Avi=σiuiA\boldsymbol{v}_i=\sigma_i\boldsymbol{u}_iAvi​=σi​ui​如果矩阵AAA可逆viσi

1.极分解（Polar Decomposition）1.1 欧拉公式推导每一个复数 x+iyx+iyx+iy 都有一个极坐标形式 reiθre^{i\theta}reiθx+iy=rcosθ+irsinθ=r(cosθ+isinθ)=reiθx+iy=rcos\theta+irsin\theta=r(cos\theta+isin\theta)=re^{i\theta}x+iy=rcosθ+irsinθ=r(cosθ+isinθ)=reiθ1.2 极分解正交矩阵QQQ（关于eiθe^{i\t

1.向量范数和矩阵范数1.1 向量范数1.1.1 曼哈顿距离（Manhattan Distance）或 l1l_1l1​范数1-范数单位圆（红线上所有点的曼哈顿距离都为1）1.1.2 欧式距离（Euclidean Distance）或 l2l_2l2​范数2-范数单位圆（红线上所有点的欧式距离都为1）1.1.3 lnl_{n}ln​ 范数、l∞l_{\infty}l∞​范数ln=(∑i=1k∣Xi∣n)1nl_{n}=\bigg(\sum_{i=1}^k|X_i|^n\bigg)^{

主成分分析1.主成分分析1.1 降维（Dimensionality Reduction）1.2 均值（Mean）1.3 方差（Variance）1.4 协方差（Covariance）1.5 协方差矩阵（Covariance Matrix）1.6 线性变换（Linear Transformation）1.7 主成分分析（PCA）1.8 PCA和SVD的关系1.主成分分析关于PCA的介绍：用最直观的方式告诉你：什么是主成分分析PCA笔记来源：Principal Component Analysis (PC

奇异值分解1.奇异值分解1.1 变换（Transformations）1.2 线性变换（Linear Transformations）1.3 降维（Dimensionality Reduction）1.4 奇异值分解（SVD）1.4.1 如果矩阵AAA是方阵（Square Matrix）1.4.2 如果矩阵AAA是非方阵（Non-Square Matrix）1.5 图像压缩（Image Compression）1.6 如何计算分解的三个矩阵？1.7 联系与区别1.7.1 特征值和特征向量1.7.2 奇异值和

正定矩阵、半正定矩阵1.正定矩阵、半正定矩阵1.1 正定矩阵1.1.1 判断正定矩阵1.2 半正定矩阵1.2.1 判定半正定矩阵1.3 椭圆 ax2+2bxy+cy2=1ax^2+2bxy+cy^2=1ax2+2bxy+cy2=11.3.1 与对称矩阵SSS有关的椭圆1.3.2 与特征值矩阵Λ\LambdaΛ有关的椭圆1.4 重要应用：检验最小值1.正定矩阵、半正定矩阵1.1 正定矩阵1.1.1 判断正定矩阵1.矩阵的所有特征值都为正数下面以对称矩阵为例，对称矩阵的特征值为正数，所以对称矩阵是

1. 对称矩阵（Symmetric Matrices）1.1 对称矩阵的两个性质性质一：Sx=λx xˉTS=xˉTλ xˉTSx=xˉTλxS\boldsymbol{x}=\lambda \boldsymbol{x}\\~\\\bar{\boldsymbol{x}}^TS=\bar{\boldsymbol{x}}^T\lambda\\~\\\bar{\boldsymbol{x}}^TS\boldsymbol{x}=\bar{\boldsymbol{x}}^T\la

矩阵指数本人另一篇相关博客：3Blue1Brown系列：e的矩阵指数解有两种形式：1.特征向量的线性组合2.eAtu⃗(0)e^{At}\vec{u}(0)eAtu(0)用新形式 eAtu⃗(0)e^{At}\vec{u}(0)eAtu(0) 求微分方程组 u⃗(t)\vec{u}(t)u(t) 的解eAt=I+At+12(At)2+⋯ A=XΛX−1e^{At}=I+At+\frac{1}{2}(At)^2+\cdots\\~\\A=X\Lambda X^{-1}eAt

二阶矩阵的稳定性当 t→∞t\rightarrow\inftyt→∞ 时，解是否接近 u⃗=0⃗\vec{u}=\vec{0}u=0【可以理解为通过消耗能量，整个系统趋于稳定】矩阵的稳定性取决于矩阵的特征值特征值为实数时，该实数小于0时，矩阵是稳定的特征值为复数时，该复数的实部小于0时，矩阵是稳定的什么样矩阵的特征值为负数？当矩阵AAA的特征值为实数{ad−bc=det A=λ1λ2>0a+d=tr A=λ1+λ2<0λ1<0、λ2<0\be

1.差分方程（递推关系式）1.1 什么是差分方程？来源于：递推关系式来源于：What is a Difference Equation?差分方程可以通过使用 TIME-SERIES 来可视化【初值不同，图像不同】F(x)=0.8x(1−x)F(x)=0.8x(1-x)F(x)=0.8x(1−x)差分方程可以通过使用 WEB-DIAGRAM 来进行可视化F(x)=1.8x(1−x)F(x)=1.8x(1-x)F(x)=1.8x(1−x)F(x)=3.2x(1−x)F

1. 微分方程组1.1 一阶微分方程组Crucial Link：线性代数与微分方程的关键连接就在特征向量（线代中的 λk\lambda^kλk 变为微分方程中的 eλte^{\lambda t}eλt）在上一篇内容基础上【详见：3Blue1Brown系列：e的矩阵指数】求解一阶微分方程组{x′(t)=ax(t)+by(t)y′(t)=cx(t)+dy(t) [x′(t)y′(t)]=[abcd][x(t)y(t)] ddtu⃗(t)=Au⃗(t) du⃗dt=Au

e的矩阵指数笔记来源： e的矩阵指数——怎么算？为什么？在微分方程组、量子力学⋯\cdots⋯中用到了 e 的矩阵指数将 exe^xex 写为泰勒展开式ex=x0+x1+12x2+16x3+⋯+1n!xn+⋯e^{x}=x^0+x^1+\frac{1}{2}x^2+\frac{1}{6}x^3+\cdots+\frac{1}{n!}x^n+\cdotsex=x0+x1+21​x2+61​x3+⋯+n!1​xn+⋯将实数 xxx 替换为矩阵 XXXeX=X0+X1+12X2+16X3+⋯+

矩阵的幂（Matrix Powers）矩阵对角化给计算矩阵的幂提供了简便方法我们将矩阵进行分解，然后在计算矩阵的幂假设我们求解 uk=Aku0\boldsymbol{u}_k=A^k\boldsymbol{u}_0uk​=Aku0​由于 XX−1=IXX^{-1}=IXX−1=I，所以下式可以简化图中矩阵XXX 为矩阵AAA 的特征向量构成的矩阵、矩阵Λ\LambdaΛ 为矩阵AAA 的特征值构成的对角矩阵Step 1：先求解出特征向量矩阵XXX、特征值矩阵Λ\LambdaΛ、矩阵X−1X^{

斐波那契数列（关于特征值的例子）下图源自：百度百科下图源自：百度百科下图源自：我在向日葵里找到了黄金比例！斐波那契数列与自然螺旋线的条数是斐波那契数下图源自：我在向日葵里找到了黄金比例！斐波那契数列与自然a+ba=ab=1+52=1.61818⋯\frac{a+b}{a}=\frac{a}{b}=\frac{1+\sqrt{5}}{2}=1.61818\cdotsaa+b​=ba​=21+5​​=1.61818⋯αβ=1+52=1.61818⋯\frac{\alpha}{\be

相似矩阵（Similar Matrixces）关于下面提到式子的几何解释请参考本人博客：矩阵对角化（Diagonalizing a Matrix）基变换的几何解释请参考本人博客：3Blue1Brown系列：基变换相似矩阵是同一个线性变换在不同基/坐标系下的的不同描述，表达同一个几何空间，使得在这组基下有比较容易处理的形式（摘自线性代数再回首之——第五章 相似矩阵及二次型）对于可对角化的矩阵AAA特征值矩阵 Λ\LambdaΛ，特征向量矩阵 XXXA=XΛX−1A=X\Lambda

矩阵对角化1.矩阵对角化（Diagonalizing a Matrix）1.1 对角矩阵的优点1.2 求解一般矩阵的特征值和特征向量1.3 矩阵对角化1.4 计算 AkA^kAk1.5 矩阵对角化的注意事项1.矩阵对角化（Diagonalizing a Matrix）笔记参考来源：Visualizing Diagonalization & Eigenbases1.1 对角矩阵的优点对角矩阵优点1：我们观察到对角矩阵只是对标准基进行了缩放，而没有进行旋转（这里的性质和特征向量有些类似！！！

1.特征值（Eigenvalues）、特征向量（Eigenvectors）、迹（Trace）关于特征向量和特征值的几何解释详见本人博客：3Blue1Brown系列：特征向量和特征值1.1 理解特征值、特征向量核心思想：下图中黄色向量就是特征向量（在线性变换后该向量的方向没有发生改变，只是大小发生了变化，这个大小就是特征值，它的特征值为2，因为放大到了原来的2倍）特征值和特征向量的计算思路如何理解 Av⃗=λv⃗A\vec{v}=\lambda \vec{v}Av=λv?向量 v⃗\vec{

1.行列式（Determinants）行列式的几何意义详见本人博客：3Blue1Brown系列：行列式应用1：判断矩阵是否可逆。矩阵不可逆时，行列式等于0。矩阵可逆时，行列式不等于0应用2：计算基向量组成的面积（二维）、基向量组成的平行六面体的体积（三维）∣detA∣|detA|∣detA∣应用3：计算特征值 det(A−λI)=0det(A-\lambda I)=0det(A−λI)=0具体详见本人博客：3Blue1Brown系列：特征向量和特征值1.1 行列式的性质性质1：性质

1.矩阵分解：A=QR1.1 使用标准正交基的投影：正交矩阵Q替换矩阵A下图中 x^\hat{x}x^ 是最小二乘估计，推导及解释详见本人博客：最小二乘估计、拟合ATAA^TAATA 为耦合矩阵或相关矩阵（由矩阵各列间的相关系数构成的，也就是说，相关矩阵第 iii 行第 jjj 列的元素是原矩阵第 iii 列和第 jjj 列的相关系数 【来自百度百科】）相关矩阵的作用：相关矩阵是显示两个或多个变量之间的关系及其运动等相互关系的一种统计方法。简而言之，它有助于定义变量之间的关系和依赖性 【参考来源】

标准正交基、施密特正交化1.标准正交基（Orthonormal）与施密特正交化（Gram-Schmidt）1.1 标准正交基（Orthonormal）1.2 施密特正交化（Gram-Schmidt）1.标准正交基（Orthonormal）与施密特正交化（Gram-Schmidt）1.1 标准正交基（Orthonormal）标准正交基是长度均1的基向量，在子空间中所有标准正交基均互相垂直，即它们的点积为0正交矩阵的一个性质：如果正交矩阵还是一个方阵，则正交矩阵的性质正交矩阵的例子：（1

最小二乘估计、拟合1.最小二乘估计（Least Squares Approximations）、拟合（Fitting）1.1 最小化误差（Minimizing the Error）1.1.1 几何角度理解1.1.2 代数角度理解1.1.2.1 直线拟合1.1.2.2 曲线拟合1.1.2.3 欠拟合、过拟合1.1.3 微积分角度1.2 例子1.3 思路总结1.最小二乘估计（Least Squares Approximations）、拟合（Fitting）笔记来源：Least Squares Approxi

1. 投影（Projections）1.1 投影到直线上（Projection onto a Line）ProjL(x⃗)=cv⃗ x⃗−ProjL(x⃗) is orthogonal to v⃗ (x⃗−ProjL(x⃗))⋅v⃗=0 (x⃗−cv⃗)⋅v⃗=0 x⃗⋅v⃗=cv⃗⋅v⃗ c=x⃗⋅v⃗v⃗⋅v⃗ ProjL(x⃗)=cv⃗=(x⃗⋅v⃗v⃗⋅v⃗)v⃗Proj_L(\vec{x})