2.6 特殊的矩阵和向量

声明：该文章翻译自MIT出版的《DEEP LEARNING》，博主会定期更新文章内容。由于博主能力有限，中间有过错之处希望大家给予批评指正，一起学习交流。
一些特殊的矩阵和向量是非常有用。

对角矩阵是只有主对角线上的元素不为零。例如：矩阵 $\boldsymbol{D}$ 是对角矩阵，当且仅当对于所有 $i \neq j$ ，$d_{i,j}=0$。我们已经遇到过对角矩阵的例子：单位矩阵，所有对角元素都是1。在本书中，我们用$\rm diag(\boldsymbol{v})$ 来表示对角方阵，它的对角元素由向量$\boldsymbol{v}$给出。对角矩阵只关注一部分，因为乘以一个对角矩阵计算非常方便。为了计算$\rm diag(\boldsymbol{v})\boldsymbol{x}$ ，我们只需要用$v_i$乘以$x_i$即可。也就是说，$\rm diag(\boldsymbol{v})\boldsymbol{x}=\boldsymbol{v\odot x}$ 反转一个方阵也是有效的。只要每个对角元素是非零的，那么逆就存在。在这种情况下，$\rm diag(\boldsymbol{v})^{-1}=\rm diag([1/v_1,...1/v_n]^{\rm T})$。在许多情况下，我们能够派生出任意矩阵的通用机器学习算法，但是限制矩阵为对角型后获得的是描述性较差的算法。

注意，并非所有对角矩阵需要是方阵。矩阵也可以是矩阵的。非方阵没有逆但是依然可以相乘。对于一个非方对角矩阵$\boldsymbol{D}$，$\boldsymbol{Dx}$ 将缩放 $\boldsymbol{x}$ 的每个元素，如果$\boldsymbol{D}$高度大于宽度，那么串联一些零到结果上，或者宽度大于高度，那么舍弃向量后面的一些元素。

对称矩阵是本身等于它的转置：

$$\boldsymbol{A}=\boldsymbol{A}^{\rm T}$$ 当矩阵中的项是由两个参数的函数生成，且这两个参数是顺序无关的，那么常会用到对称矩阵。例如，如果$\boldsymbol{A}$是距离测度的矩阵，其中$\rm a_{i,j}$给定点 $i$ 到点 $j$ 的距离，那么 $\rm a_{i,j}=a_{j,i}$，因为距离函数是对称的。

单位向量是单位范数向量：

$$\Vert\boldsymbol{x}\Vert_2=1$$
如果$\boldsymbol{x^{\rm T}y}=0$那么向量和向量是正交的。如果向量都是非零范数，这意味着互相成九十度角。最多有个元素互相正交。如果向量不经正交而且有单位范数，我们称为单位正交。

正交矩阵是一个方阵，且行是互相单位正交的，列是互相单位正交的：

$$\boldsymbol{A^{\rm T}A}=\boldsymbol{AA^{\rm T}}=I$$ 这表明： $$\boldsymbol{A^{-1}}=\boldsymbol{A^{\rm T}}$$ 所以正交矩阵是非常有意思的，因为很容易计算。仔细注意正交矩阵的定义。他们的行不仅仅是正交还要单位正交。对于行或列是正交的但非单位正交的矩阵没有一个专门的术语。