MIT 线性代数（25—27）读书笔记

第二十五讲：复习二

1.第14到24讲总结

---

• 我们学习了正交性（正交向量和正交补），有矩阵$Q=\Bigg[q_1\ q_2\ \cdots\ q_n\Bigg]$，若其列向量相互正交，则该矩阵满足$Q^TQ=I$。

• 进一步研究投影（求解$Ax=b$和最小二乘法），我们了解了Gram-Schmidt正交化法，核心思想是求法向量，即从原向量中减去投影向量$E=b-P, P=Ax=A\cdot\frac{A^Tb}{A^TA}$。

• 接着学习了行列式，根据行列式的前三条性质，我们拓展出了性质4-10。

• 我们继续推导出了一个利用代数余子式求行列式的公式。

• 又利用代数余子式推导出了一个求逆矩阵的公式（克拉默法则）、逆矩阵的求法和矩阵的几何意义。

• 接下来我们学习了特征值与特征向量的意义：$Ax=\lambda x$，进而了解了通过$\det(A-\lambda I)=0$求特征值、特征向量的方法。
• 有了特征值与特征向量，我们掌握了通过公式$AS=\Lambda S$对角化矩阵，同时掌握了求矩阵的幂$A^k=S\Lambda^kS^{-1}$。
• 最后是对角化、特征值和特征向量和正交化的应用，应用在：矩阵的幂、微分方程和$e^{At}$、马尔可夫矩阵和傅立叶级数。

注：微分方程不在本讲的范围内。下面通过往年例题复习上面的知识。

2. 例子

---

1. 1)求$a=\begin{bmatrix}2\\1\\2\end{bmatrix}$的投影矩阵$P$;
2)求$P$矩阵的特征值和特征向量；
3) 有差分方程$u_{k+1}=Pu_k,\ u_0=\begin{bmatrix}9\\9\\0\end{bmatrix}$，求解$u_k$.

---

解： （15、21、22、23讲）
1）求$a=\begin{bmatrix}2\\1\\2\end{bmatrix}$的投影矩阵$P$：$\Bigg($由$A\bot(b-p)\rightarrow A^T(b-A\hat x)=0$得到$\hat x=\left(A^TA\right)^{-1}A^Tb$，求得$p=A\hat x=A\left(A^TA\right)^{-1}A^Tb=Pb$最终得到$P\Bigg)$$\underline{P=A\left(A^TA\right)^{-1}A^T}\stackrel{a}=\frac{aa^T}{a^Ta}=\frac{1}{9}\begin{bmatrix}4&2&4\\2&1&2\\4&2&4\end{bmatrix}$。

2）求$P$矩阵的特征值：观察矩阵易知矩阵奇异，且为秩一矩阵，则其零空间为$2$维，所以由$Px=0x$得出矩阵的两个特征向量为$\lambda_1=\lambda_2=0$；而从矩阵的迹得知$trace(P)=1=\lambda_1+\lambda_2+\lambda_3=0+0+1$，则第三个特征向量为$\lambda_3=1$。

求$\lambda_3=1$的特征向量：由$Px=x$我们知道经其意义为，$x$过矩阵$P$变换后不变，又有$P$是向量$a$的投影矩阵，所以任何向量经过$P$变换都会落在$a$的列空间中，则只有已经在$a$的列空间中的向量经过$P$的变换后保持不变，即其特征向量为$x=a=\begin{bmatrix}2\\1\\2\end{bmatrix}$，也就是$Pa=a$。$\color{red}{还记得特征值和特征向量那一讲吗(15讲)？特意讲了投影矩阵，它的特征值就是0 和1}$

3）有差分方程$u_{k+1}=Pu_k,\ u_0=\begin{bmatrix}9\\9\\0\end{bmatrix}$，求解$u_k$：
$\color{red}{我们先不急于解出特征值、特征向量，因为矩阵很特殊（投影矩阵）。}$首先观察$u_1=Pu_0$，式子相当于将$u_0$投影在了$a$的列空间中，计算得$u_1=a\frac{a^Tu_0}{a^Ta}=3a=\begin{bmatrix}6\\3\\6\end{bmatrix}$（这里的$3$相当于做投影时的系数$\hat x$），其意义为$u_1$在$a$上且距离$u_0$最近。再来看看$u_2=Pu_1$，这个式子将$u_1$再次投影到$a$的列空间中，但是此时的$u_1$已经在该列空间中了，再次投影仍不变，所以有$u_k=P^ku_0=Pu_0=\begin{bmatrix}6\\3\\6\end{bmatrix}$。

总结：
上面的解法利用了投影矩阵的特殊性质，如果在一般情况下，我们需要使用$AS=S\Lambda\rightarrow A=S\Lambda S^{-1} \rightarrow u_{k+1}=Au_k=A^{k+1}u_0, u_0=Sc\rightarrow u_{k+1}=S\Lambda^{k+1}S^{-1}Sc=S\Lambda^{k+1}c$，最终得到公式$A^ku_0=c_1\lambda_1^kx_1+c_2\lambda_2^kx_2+\cdots+c_n\lambda_n^kx_n$。题中$P$的特殊性在于它的两个“零特征值”及一个“一特征值”使得式子变为$A^ku_0=c_3x_3$，所以得到了上面结构特殊的解。

---

2.将点$(1,4),\ (2,5),\ (3,8)$拟合到一条过零点的直线上。

---

解： （15、16讲）
设直线为$y=Dt$，写成矩阵形式为$\begin{bmatrix}1\\2\\3\end{bmatrix}D=\begin{bmatrix}4\\5\\8\end{bmatrix}$，即$AD=b$，很明显$D$不存在。利用公式$A^TA\hat D=A^Tb$得到$14D=38,\ \hat D=\frac{38}{14}$，即最佳直线为$y=\frac{38}{14}t$。这个近似的意义是将$b$投影在了$A$的列空间中。

---

3.求$a_1=\begin{bmatrix}1\\2\\3\end{bmatrix}\ a_2=\begin{bmatrix}1\\1\\1\end{bmatrix}$的正交向量

---

解： （17讲）
找到平面$A=\Bigg[a_1,a_2\Bigg]$的正交基，使用Gram-Schmidt法，以$a_1$为基准，正交化$a_2$，也就是将$a_2$中平行于$a_1$的分量去除，即$a_2-xa_1=a_2-\frac{a_1^Ta_2}{a_1^Ta_1}a_1=\begin{bmatrix}1\\1\\1\end{bmatrix}-\frac{6}{14}\begin{bmatrix}1\\2\\3\end{bmatrix}$。

---

4.有$4\times 4$矩阵$A$，
1）其特征值为$\lambda_1,\lambda_2,\lambda_3,\lambda_4$，则矩阵可逆的条件是什么；
2）$trace(A+I)$的迹是什么。

---

解： （21、22讲）
1）矩阵可逆，则零空间中只有零向量，即$Ax=0x$没有非零解，则零不是矩阵的特征值。
$\det A^{-1}$是什么：$\det A^{-1}=\frac{1}{\det A}$，而$\det A=\lambda_1\lambda_2\lambda_3\lambda_4$，所以有$\det A^{-1}=\frac{1}{\lambda_1\lambda_2\lambda_3\lambda_4}$。

2）$trace(A+I)$的迹是什么：我们知道$trace(A)=a_{11}+a_{22}+a_{33}+a_{44}=\lambda_1+\lambda_2+\lambda_3+\lambda_4$，所以有$trace(A+I)=a_{11}+1+a_{22}+1+a_{33}+1+a_{44}+1=\lambda_1+\lambda_2+\lambda_3+\lambda_4+4$。

---

5.有矩阵$A_4=\begin{bmatrix}1& 1& 0& 0\\1& 1& 1& 0\\0& 1& 1& 1\\0& 0& 1& 1\end{bmatrix}$，
1）求$D_n=?D_{n-1}+?D_{n-2}$；
2）判断递归式是否收敛。

---

解：
1）求递归式的系数，使用代数余子式将矩阵安第一行展开得$\det A_4=1\cdot\begin{vmatrix}1& 1& 0\\1& 1& 1\\0& 1& 1\end{vmatrix}-1\cdot\begin{vmatrix}1& 1& 0\\0& 1& 1\\0& 1& 1\end{vmatrix}=1\cdot\begin{vmatrix}1& 1& 0\\1& 1& 1\\0& 1& 1\end{vmatrix}-1\cdot\begin{vmatrix}1& 1\\1& 1\end{vmatrix}=\det A_3-\det A_2$。则可以看出有规律$D_n=D_{n-1}-D_{n-2}, D_1=1, D_2=0$。
使用我们在差分方程中的知识构建方程组$\begin{cases}D_n& =D_{n-1}-D_{n-2}\\D_{n-1}& =D_{n-1}\end{cases}$，用矩阵表达有$\begin{bmatrix}D_n\\D_{n-1}\end{bmatrix}=\begin{bmatrix}1& -1\\1& 0\end{bmatrix}\begin{bmatrix}D_{n-1}\\D_{n-2}\end{bmatrix}$。计算系数矩阵$A_c$的特征值，$\begin{vmatrix}1-\lambda& 1\\1& -\lambda\end{vmatrix}=\lambda^2-\lambda+1=0$，解得$\lambda_1=\frac{1+\sqrt{3}i}{2},\lambda_2=\frac{1-\sqrt{3}i}{2}$，特征值为一对共轭复数。

2）要判断递归式是否收敛，需要计算特征值的模，即实部平方与虚部平方之和$\frac{1}{4}+\frac{3}{4}=1$。它们是位于单位圆$e^{i\theta}$上的点，即$\cos\theta+i\sin\theta$，从本例中可以计算出$\theta=60^\circ$，也就是可以将特征值写作$\lambda_1=e^{i\pi/3},\lambda_2=e^{-i\pi/3}$。注意，从复平面单位圆上可以看出，这些特征值的六次方将等于一：$e^{2\pi i}=e^{2\pi i}=1$。继续深入观察这一特性对矩阵的影响，$\lambda_1^6=\lambda^6=1$，则对系数矩阵有$A_c^6=I$。则系数矩阵$A_c$服从周期变化，既不发散也不收敛。

---

6.有这样一类矩阵$A_4=\begin{bmatrix}0& 1& 0& 0\\1& 0& 2& 0\\0& 2& 0& 3\\0& 0& 3& 0\end{bmatrix}$，求投影到$A_3$列空间的投影矩阵

---

解：
有$A_3=\begin{bmatrix}0& 1& 0\\1& 0& 2\\0& 2& 0\end{bmatrix}$，按照通常的方法求$P=A\left(A^TA\right)^{-1}A^T$即可，但是这样很麻烦。我们可以考察这个矩阵是否可逆，因为如果可逆的话，$\mathbb{R}^4$空间中的任何向量都会位于$A_4$的列空间，其投影不变，则投影矩阵为单位矩阵$I$。所以按行展开求行列式$\det A_4=-1\cdot-1\cdot-3\cdot-3=9$，所以矩阵可逆，则$P=I$。
求$A_3$的特征值及特征向量：$\left|A_3-\lambda I\right|=\begin{vmatrix}-\lambda& 1& 0\\1& -\lambda& 2\\0& 2& -\lambda\end{vmatrix}=-\lambda^3+5\lambda=0$，解得$\lambda_1=0,\lambda_2=\sqrt 5,\lambda_3=-\sqrt 5$。

我们可以猜测这一类矩阵的规律：奇数阶奇异，偶数阶可逆。

---

第二十六讲：对称矩阵及正定性

前面我们学习了矩阵的特征值与特征向量，也了解了一些特殊的矩阵及其特征值、特征向量，特殊矩阵的特殊性应该会反映在其特征值、特征向量中。如马尔科夫矩阵，有一特征值为$1$，本讲介绍（实）对称矩阵($A^T=A$)。($\color{red}{矩阵的特殊性应该表现在特征值和特征向量上}$)

---

1.对称矩阵

1.1对称矩阵的性质

---

先提前介绍两个对称矩阵的特性：

• 特征值为实数；（对比第二十一讲介绍的旋转矩阵，其特征值为纯虚数。）

• 特征向量相互正交。（如果特征值互不相同，那么每个特征值的特征向量是在单独的一条线上，那些线是垂直正交的；如果特征值重复，那就有一整个平面的特征向量，在那个平面上，我们可以选择垂直的向量），我们可以将这组特征向量转化为标准正交向量。

解释：
1.单位矩阵
单位矩阵是对称矩阵，特征值都为1，每一个向量都是特征向量。

2.在通常（可对角化）情况下，一个矩阵可以化为：$A=S\varLambda S^{-1}$；
在矩阵对称的情况下，通过性质2可知，由特征向量组成的矩阵$S$中的列向量是$\color{red}{相互正交的}$，此时如果我们把特征向量的长度统一化为$1$，就可以得到一组$\color{red}{标准正交的特征向量}$。则对于对称矩阵有$A=Q\varLambda Q^{-1}$，而对于标准正交矩阵，有$Q=Q^T$，所以对称矩阵可以写为

$$A=Q\varLambda Q^{-1}=Q\varLambda Q^T\tag{1}$$

观察$(1)$式，我们发现这个分解本身就代表着对称，$\left(Q\varLambda Q^T\right)^T=\left(Q^T\right)^T\varLambda^TQ^T=Q\varLambda Q^T$。

注：
$(1)$式在数学上叫做谱定理（spectral theorem），谱就是指矩阵特征值的集合。（该名称来自光谱，指一些纯事物的集合，就像将特征值分解成为特征值与特征向量。）
$(1)$式在力学上称之为主轴定理（principle axis theorem），从几何上看，它意味着如果给定某种材料，在合适的轴上来看，它就变成对角化的，方向就不会重复。

1.2性质的证明

---

现在我们来证明性质1。
1）对于矩阵$\underline{Ax=\lambda x}$；
2）对于其共轭部分总有$\bar A\bar x=\bar\lambda \bar x$，根据前提条件我们只讨论实矩阵，则有$A\bar x=\bar\lambda \bar x$，将等式两边取转置有$\overline{\bar{x}^TA=\bar{x}^T\bar\lambda}$；
3）将“下划线”式两边左乘$\bar{x}^T$有$\bar{x}^TAx=\bar{x}^T\lambda x$，“上划线”式两边右乘$x$有$\bar{x}^TAx=\bar{x}^T\bar\lambda x$，观察发现这两个式子左边是一样的，所以$\bar{x}^T\lambda x=\bar{x}^T\bar\lambda x$，则有$\lambda=\bar{\lambda}$（这里有个条件，$\bar{x}^Tx\neq 0$），证毕。

注：
观察这个前提条件，

$$\bar{x}^Tx=\begin{bmatrix}\bar x_1& \bar x_2& \cdots& \bar x_n\end{bmatrix}\begin{bmatrix}x_1\\x_2\\\vdots\\x_n\end{bmatrix}=\bar x_1x_1+\bar x_2x_2+\cdots+\bar x_nx_n$$ ，设$x_1=a+ib, \bar x_1=a-ib$则$\bar x_1x_1=a^2+b^2$，所以有$\bar{x}^Tx>0$。而$\bar{x}^Tx$就是$x$长度的平方。

1.3性质拓展

---

拓展这个性质：
1）当$A$为复矩阵，根据上面的推导，则矩阵必须满足$A^T=A和A=\bar{A}^T$时，才有性质1、性质2成立（教授称具有这种$\color{red}{特征值为实数、特征向量相互正交的矩阵为“好矩阵”}$）。

2)继续研究$A=Q\varLambda Q^T=\Bigg[q_1\ q_2\ \cdots\ q_n\Bigg]\begin{bmatrix}\lambda_1& & \cdots& \\& \lambda_2& \cdots& \\\vdots& \vdots& \ddots& \vdots\\& & \cdots& \lambda_n\end{bmatrix}\begin{bmatrix}\quad q_1^T\quad\\\quad q_1^T\quad\\\quad \vdots \quad\\\quad q_1^T\quad\end{bmatrix}=\lambda_1q_1q_1^T+\lambda_2q_2q_2^T+\cdots+\lambda_nq_nq_n^T$，注意这个展开式中的$qq^T$，$q$是单位列向量所以$q^Tq=1$，结合我们在第十五讲所学的投影矩阵的知识有$\frac{qq^T}{q^Tq}=qq^T$是一个投影矩阵，很容易验证其性质，比如平方它会得到$qq^Tqq^T=qq^T$于是多次投影不变等(验证了投影举证的性质)。

每一个对称矩阵都可以分解为一系列相互正交的投影矩阵。

3）在知道对称矩阵的特征值皆为实数后，我们再来讨论这些实数的符号，因为特征值的正负号会影响微分方程的收敛情况（第二十三讲，需要实部为负的特征值保证收敛）。用消元法取得矩阵的主元，观察主元的符号，主元符号的正负数量与特征向量的正负数量相同。即：

• 主元符号的正负数量与特征向量的正负数量相同。

• 特征值之积等于主元之积。

2.正定矩阵

---

如果对称矩阵是“好矩阵”，则正定矩阵（positive definite）是其一个更好的子类。

• 正定矩阵指特征值均为正数的矩阵（根据上面的性质有矩阵的主元均为正）。

• 正定矩阵所有子行列式为正。

举个例子，$\begin{bmatrix}5& 2\\2& 3\end{bmatrix}$，由行列式消元知其主元为$5,\frac{11}{5}$，按一般的方法求特征值有$\begin{vmatrix}5-\lambda& 2\\2& 3-\lambda\end{vmatrix}=\lambda^2-8\lambda+11=0, \lambda=4\pm\sqrt 5$。
正定矩阵的另一个性质是，所有子行列式为正。对上面的例子有$\begin{vmatrix}5\end{vmatrix}=5, \begin{vmatrix}5& 2\\2& 3\end{vmatrix}=11$。

我们看到正定矩阵将早期学习的的消元主元、中期学习的的行列式、后期学习的特征值结合在了一起。

• $\color{red}{如果一个实对称矩阵的特征值都是正数，那么它是正定矩阵}$。

• $\color{red}{正定矩阵的主元也都是正数}$。

• $\color{red}{正定矩阵的所有子行列式都是正数}$。

• $\color{red}{正定矩阵将方阵特征值，主元，行列式融为一体}$。

3.本章总结

---

1. 对称矩阵($A^T=A$)：
   1）性质：特征值为实数，特征向量相互正交（$A=Q\varLambda Q^{-1}=Q\varLambda Q^T$）。
   2）当$A$为复矩阵，根据上面的推导，则矩阵必须满足$A^T=A和A=\bar{A}^T$时，才有性质1、性质2成立。
   3）主元符号的正负数量与特征向量的正负数量相同；特征值之积等于主元之积。

2. 正定矩阵

   • 如果一个实对称矩阵的特征值都是正数，那么它是正定矩阵。

   • 正定矩阵的主元也都是正数。

   • 正定矩阵的所有子行列式都是正数。

   • 正定矩阵将方阵特征值，主元，行列式融为一体。

---

第二十七讲：复数矩阵和快速傅里叶变换

本讲主要介绍复数向量、复数矩阵的相关知识（包括如何做复数向量的点积运算、什么是复数对称矩阵等），以及傅里叶矩阵（最重要的复数矩阵）和快速傅里叶变换。

一个重要的复矩阵的例子就是傅里叶矩阵。还将介绍傅里叶变换，简称FFT，在计算机里常用，特别是当涉及到大数据的时候，因为它可以很快的进行傅里叶变换，即是说做乘法时，怎样才能快速用这个$n$ 阶方阵做乘法，通常，$n$ 阶方阵的乘法要算$n^2$ 次，因为有$n^2$ 个非零元素，这是个全矩阵，且这个矩阵的列向量正交，而快速傅里叶变换将原先要进行的$n^2$ 次计算缩减到$n logn$，这只是简单的矩阵分解，但改变是巨大的。

1.复数矩阵运算

1.1.计算复向量的模与内积

---

先介绍复数向量，我们不妨换一个字母符号来表示：$z=\begin{bmatrix}z_1\\z_2\\\vdots\\z_n\end{bmatrix}$，向量的每一个分量都是复数。此时$z$不再属于$\mathbb{R}^n$实向量空间，它现在处于$\mathbb{C}^n$复向量空间。

对比实向量，我们计算模只需要计算$\left|v\right|=\sqrt{v^Tv}$即可，而如果对复向量使用$z^Tz$则有$z^Tz=\begin{bmatrix}z_1& z_2& \cdots& z_n\end{bmatrix}\begin{bmatrix}z_1\\z_2\\\vdots\\z_n\end{bmatrix}=z_1^2+z_2^2+\cdots+z_n^2$，这里$z_i$是复数，平方后虚部为负，求模时本应相加的运算变成了减法。（如向量$\begin{bmatrix}1& i\end{bmatrix}$，右乘其转置后结果为$0$，但此向量的长度显然不是零。）
根据上一讲我们知道，应使用$\left|z\right|=\sqrt{\bar{z}^Tz}$，即$\begin{bmatrix}\bar z_1& \bar z_2& \cdots& \bar z_n\end{bmatrix}\begin{bmatrix}z_1\\z_2\\\vdots\\z_n\end{bmatrix}$，即使用向量共轭的转置乘以原向量即可。（如向量$\begin{bmatrix}1& i\end{bmatrix}$，右乘其共轭转置后结果为$\begin{bmatrix}1& -i\end{bmatrix}\begin{bmatrix}1\\i\end{bmatrix}=2$。）

我们把共轭转置$\bar{z}^T$乘以原向量记为$z^Hz$，$H$读作埃尔米特（人名为Hermite，形容词为Hermitian）

有了复向量模的计算公式，同理可得，对于复向量，内积不再是实向量的$y^Tx$形式，复向量内积应为$y^Hx$。

1.2. 复数对称矩阵

---

对于实矩阵，$A^T=A$即可表达矩阵的对称性。而对于复矩阵，我们同样需要求一次共轭$\bar{A}^T=A$。举个例子$\begin{bmatrix}2& 3+i\\3-i& 5\end{bmatrix}$是一个复数情况下的对称矩阵。这叫做埃尔米特矩阵，有性质$A^H=A$。

1.3. 正交性

---

在第十七讲中，我们这样定义标准正交向量：$q_i^Tq_j=\begin{cases}0\quad i\neq j\\1\quad i=j\end{cases}$。现在，对于复向量我们需要求共轭：$\bar{q}_i^Tq_j=q_i^Hq_j=\begin{cases}0\quad i\neq j\\1\quad i=j\end{cases}$。
第十七讲中的标准正交矩阵：$Q=\Bigg[q_1\ q_2\ \cdots\ q_n\Bigg]$有$Q^TQ=I$。现在对于复矩阵则有$Q^HQ=I$。
就像人们给共轭转置起了个“埃尔米特”这个名字一样:

正交性（orthogonal）在复数情况下也有了新名字，酉（unitary），$\color{red}{酉矩阵（unitary matrix）}$与正交矩阵类似，满足:

$$Q^HQ=I$$
而前面提到的傅里叶矩阵就是一个酉矩阵。

1.4.傅里叶矩阵

---

$n$阶傅里叶矩阵$F_n=\begin{bmatrix}1& 1& 1& \cdots& 1\\1& w& w^2& \cdots& w^{n-1}\\1& w^2& w^4& \cdots& w^{2(n-1)}\\\vdots& \vdots& \vdots& \ddots& \vdots\\1& w^{n-1}& w^{2(n-1)}& \cdots& w^{(n-1)^2}\end{bmatrix}$，对于每一个元素有$(F_n)_{ij}=w^{ij}\quad i,j=0,1,2,\cdots,n-1$。矩阵中的$w$是一个非常特殊的值，满足$w^n=1$，其公式为$w=e^{i2\pi/n}$。易知$w$在复平面的单位圆上，$w=\cos\frac{2\pi}{n}+i\sin\frac{2\pi}{n}$。
在傅里叶矩阵中，当我们计算$w$的幂时，$w$在单位圆上的角度翻倍。比如在$6$阶情形下，$w=e^{2\pi/6}$，即位于单位圆上$60^\circ$角处，其平方位于单位圆上$120^\circ$角处，而$w^6$位于$1$处。从开方的角度看，它们是$1$的$6$个六次方根，而一次的$w$称为原根。
我们现在来看$4$阶傅里叶矩阵，先计算$w$有$w=i,\ w^2=-1,\ w^3=-i,\ w^4=1$，$F_4=\begin{bmatrix}1& 1& 1& 1\\1& i& i^2& i^3\\1& i^2& i^4& i^6\\1& i^3& i^6& i^9\end{bmatrix}=\begin{bmatrix}1& 1& 1& 1\\1& i& -1& -i\\1& -1& 1& -1\\1& -i& -1& i\end{bmatrix}$。
矩阵的四个列向量正交，我们验证一下第二列和第四列，$\bar{c_2}^Tc_4=1-0+1-0=0$，正交。不过我们应该注意到，$F_4$的列向量并不是标准的，我们可以给矩阵乘上系数$\frac{1}{2}$（除以列向量的长度）得到标准正交矩阵$F_4=\frac{1}{2}\begin{bmatrix}1& 1& 1& 1\\1& i& -1& -i\\1& -1& 1& -1\\1& -i& -1& i\end{bmatrix}$。此时有$F_4^HF_4=I$，于是该矩阵的逆矩阵也就是其共轭转置$F_4^H$。

四阶傅里叶变换作用于四维向量 ：

• 傅里叶变换：向量左乘矩阵$F_4$（四点傅里叶变换）；
• 傅里叶逆变换：向量左乘矩阵$F_4^{-1}$（四点傅里叶逆变换）。

一个很好的性质：$\color{red}{可以把傅里叶矩阵分解为一些列“稀疏矩阵”。}$

2. 快速傅里叶变换（Fast Fourier transform/FFT）

---

对于傅里叶矩阵，$F_6,\ F_3$ 与 $F_8,\ F_4$ 和 $F_{64},\ F_{32}$之间有着特殊的关系。
举例，有傅里叶矩阵$F_{64}$，一般情况下，用一个列向量右乘$F_{64}$需要约$64^2$次计算，显然这个计算量是比较大的。我们想要减少计算量，于是想要分解$F_{64}$，联系到$F_{32}$，有$\Bigg[F_{64}\Bigg]=\begin{bmatrix}I& D\\I& -D\end{bmatrix}\begin{bmatrix}F_{32}& 0\\0& F_{32}\end{bmatrix}\begin{bmatrix}1& & \cdots& & & 0& & \cdots& & \\0& & \cdots& & & 1& & \cdots& & \\& 1& \cdots& & & & 0& \cdots& & \\& 0& \cdots& & & & 1& \cdots& & \\& & & \ddots& & & & & \ddots& & \\& & & \ddots& & & & & \ddots& & \\& & & \cdots& 1& & & & \cdots& 0\\& & & \cdots& 0& & & & \cdots& 1\end{bmatrix}$。
我们分开来看等式右侧的这三个矩阵(分别是第一个矩阵、第二个矩阵和第三个矩阵)：
1)第一个矩阵由单位矩阵$I$和对角矩阵$D=\begin{bmatrix}1& & & & \\& w& & & \\& & w^2& & \\& & & \ddots& \\& & & & w^{31}\end{bmatrix}$组成，我们称这个矩阵为修正矩阵，显然其计算量来自$D$矩阵，对角矩阵的计算量约为$32$即这个修正矩阵的计算量约为$32$，单位矩阵的计算量忽略不计。

2)第二个矩阵是两个$F_{32}$与零矩阵组成的，计算量约为$2\times 32^2$。

3)第三个矩阵通常记为$P$矩阵，这是一个置换矩阵，其作用是讲前一个矩阵中的奇数列提到偶数列之前，$\color{red}{将前一个矩阵从\Bigg[x_0\ x_1\ \cdots\Bigg]变为\Bigg[x_0\ x_2\ \cdots\ x_1\ x_3\ \cdots\Bigg]}$，这个置换矩阵的计算量也可以忽略不计。（这里教授似乎在黑板上写错了矩阵，可以参考FFT、How the FFT is computed做进一步讨论。）

所以我们把$64^2$复杂度的计算化简为$2\times 32^2+32$复杂度的计算，我们可以进一步化简$F_{32}$得到与$F_{16}$有关的式子$\begin{bmatrix}I_{32}& D_{32}\\I_{32}& -D_{32}\end{bmatrix}\begin{bmatrix}I_{16}& D_{16}& & \\I_{16}& -D_{16}& & \\& & I_{16}& D_{16}\\& & I_{16}& -D_{16}\end{bmatrix}\begin{bmatrix}F_{16}& & & \\& F_{16}& & \\& & F_{16}& \\& & & F_{16}\end{bmatrix}\begin{bmatrix}P_{16}& \\& P_{16}\end{bmatrix}\Bigg[\ P_{32}\ \Bigg]$。而$32^2$的计算量进一步分解为$2\times 16^2+16$的计算量，如此递归下去我们最终得到含有一阶傅里叶矩阵的式子。
来看化简后计算量，$2\left(2\left(2\left(2\left(2\left(2\left(1\right)^2+1\right)+2\right)+4\right)+8\right)+16\right)+32$，约为$6\times 32=\log_264\times \frac{64}{2}$，算法复杂度为$\frac{n}{2}\log_2n$。
于是原来需要$n^2$的运算现在只需要$\frac{n}{2}\log_2n$就可以实现了。不妨看看$n=10$的情况，不使用FFT时需要$n^2=1024\times 1024$次运算，使用FFT时只需要$\frac{n}{2}\log_2n=5\times 1024$次运算，运算量大约是原来的$\frac{1}{200}$。

$\color{red}{对于n 阶傅里叶变换，无需n^2次乘法，只需要\frac{n}{2}\log_2n即可。这是矩阵分解 的功劳。}$

3. 本章总结

---

1. 酉矩阵和埃尔米特

   • 把共轭转置$\bar{z}^T$乘以原向量记为$z^Hz$，$H$读作埃尔米特（人名为Hermite，形容词为Hermitian）

   • $\color{red}{酉矩阵（unitary matrix）}$：
     

     $$Q^HQ=I$$

   • 傅里叶矩阵就是一个酉矩阵（傅里叶变换与逆变换）。

2. 快速傅里叶变换

   $\color{red}{对于n 阶傅里叶变换，无需n^2次乘法，只需要\frac{n}{2}\log_2n即可。这是矩阵分解 的功劳。}$

下一讲将继续介绍特征值、特征向量及正定矩阵。