2014斯坦福大学吴恩达机器学习课程笔记-3 Linear Algebra

---

3 线性代数（Linear Algebra）

3-1 矩阵（Matrix）和向量（Vector）

矩阵

矩阵：Rectangular array of numbers，可看作二维数组
矩阵的维度（dimension）：行数（row）×列数（column）

${\mathbb{R}}^{r\times c}$：维度为 $r\times c$ 的矩阵的集合

表示矩阵的元素（element/entry）：若矩阵为 $A$，则 $A_{ij}$ 表示第 $i$ 行第 $j$ 列的矩阵元素

向量

向量：n×1（只有一列）的矩阵
向量的维度：行数

${\mathbb{R}}^n$：维度为n的向量的集合

表示向量的元素：若向量为 $y$，则 $y_i$ 表示向量的第 $i$ 个元素

• i（下标/index）可以从0（0-indexed，机器学习应用常用）开始，也可以从1（1-indexed，数学常用）开始
• 默认使用1-indexed

*常用大写字母表示矩阵，使用小写字母表示数字、标量、向量

3-2 矩阵加法与标量乘法（Addition and Scalar Multiplication）

$A=(A_{ij})$, $B=(B_{ij})$, $C=(C_{ij})$

矩阵加法：$A+B=C$, where $C_{ij}=A_{ij}+B_{ij}$

• 维度：同维度矩阵才能相加，相加后维度不变

矩阵-标量乘法：$\lambda \times A=A\times \lambda =C$, where $C_{ij}=A_{ij}\times a$

• 维度：标量乘法为一实数与矩阵相乘，相乘后维度不变

*减法和标量除法同理

3-3&3-4 矩阵-向量/矩阵-矩阵乘法（Matrix-Vector / Matrix-Matrix Multiplication）

$A=(A_{ij})$, $B=(B_{ij})$, $C=(C_{ij})$, $x=(x_i)$, $y=(y_i)$

矩阵-矩阵乘法：$A\times B=C$, where
$$C_{ij}=A_{i1}\times B_{1j}+A_{i2}\times B_{2j}+\cdots +A_{is}\times B_{sj}=\sum _{k=1}^s(A_{ik}{B}_{kj})$$
$$(i=1,2,\dots ,m;j=1,2,\dots ,n)$$

• 即：$A$ 的第 $i$ 行与 $B$ 的第 $j$ 列对应元素依次相乘并求和，得到 $C$ 的第 $i$ 行第 $j$ 列元素
• 维度：上式中，$A$ 的维度为 $m\times s$，$B$ 的维度为 $s\times n$，其乘积 $C$ 的维度为 $m\times n$

矩阵-向量乘法：$A\times x=y$, where
$$y_i=A_{i1}\times x_1+A_{i2}\times x_2+\cdots +A_{in}\times x_n=\sum _{k=1}^s(A_{ij}{x}_j)$$
$$(i=1,2,\dots ,m;j=1,2,\dots ,n)$$

• 即：矩阵 $A$ 的第 $i$ 行与向量 $x$ 对应元素相乘并求和，得到向量 $y$ 的第 $i$ 个元素
• 维度：上式中，矩阵 $A$ 的维度为 $m\times n$，向量 $x$ 的维度为 $n$（对应 $n\times 1$ 的矩阵），其乘积 $y$ 的维度为 $m$

*可以将向量看作一维矩阵，也可以反过来将矩阵看作多个向量拼接而成（每一列对应一个向量），因此矩阵-矩阵乘法可以看作是多个矩阵-向量乘法的结果写在了一起（每一列对应矩阵与一个向量的积）

---

在 $h_{\theta }(x)={\theta }_0+{\theta }_{1}x$ 中，给定 $x$ 的 $n$ 个取值，计算 $h_{\theta }(x)$ 的便捷方法：
【便于编程实现，否则需要for循环逐一计算，既增加了代码量，又增加了计算复杂度（矩阵运算的复杂度经过算法优化）】

• 将 $x$ 的 $n$ 个取值构造成 $n\times 2$ 的矩阵，其中第1列的元素全为 1：$\left[\begin{array}{cc}1& x^{(1)}\\ 1& x^{(2)}\\ ⋮& ⋮\\ 1& x^{(n)}\end{array}\right]$
• 将 $h_{\theta }(x)$ 的参数用2维向量表示：$\left(\begin{array}{c}{\theta }_0\\ {\theta }_1\end{array}\right)$
• 将上述矩阵和向量相乘：$\left[\begin{array}{cc}1& x^{(1)}\\ 1& x^{(2)}\\ ⋮& ⋮\\ 1& x^{(n)}\end{array}\right]\times \left(\begin{array}{c}{\theta }_0\\ {\theta }_1\end{array}\right)=\left(\begin{array}{c}{h}_{\theta }(x^{(1)})\\ h_{\theta }(x^{(2)})\\ ⋮\\ h_{\theta }(x^{(n)})\end{array}\right)$

若 $h_{\theta }(x)$ 具有 $m$ 种形式，即 ${\theta }_0$ 和 ${\theta }_1$ 有 $m$ 种不同的取值，可以将上式中的向量写成矩阵，其中每一列代表了一种 ${\theta }_0$ 和 ${\theta }_1$ 的取值，则有：
$$\left[\begin{array}{cc}1& x^{(1)}\\ 1& x^{(2)}\\ ⋮& ⋮\\ 1& x^{(n)}\end{array}\right]\times \left[\begin{array}{cccc}{\theta }_0^{(1)}& {\theta }_0^{(2)}& \dots & {\theta }_0^{(m)}\\ {\theta }_1^{(1)}& {\theta }_1^{(2)}& \dots & {\theta }_1^{(m)}\end{array}\right]=\left[\begin{array}{cccc}{h}_{\theta }^{(1)}(x^{(1)})& h_{\theta }^{(2)}(x^{(1)})& \dots & h_{\theta }^{(m)}(x^{(1)})\\ h_{\theta }^{(1)}(x^{(2)})& h_{\theta }^{(2)}(x^{(2)})& \dots & h_{\theta }^{(m)}(x^{(2)})\\ ⋮& ⋮& & ⋮\\ h_{\theta }^{(1)}(x^{(n)})& h_{\theta }^{(2)}(x^{(n)})& \dots & h_{\theta }^{(m)}(x^{(n)})\end{array}\right]$$

---

3-5 矩阵乘法属性（Matrix Multiplication Properties）

矩阵-标量（实数）乘法：

• 交换律（commutative）：$\lambda \times A=A\times \lambda$
• 结合律（associative）
• 分配律

矩阵-矩阵乘法：

• （一般）不满足交换律：$A\times B\ne B\times A$
• 结合律：$(A\times B)\times C=A\times (B\times C)$
• 分配律

单位矩阵（identity matrix）：对角线元素均为1
$I$ (or $I_{n\times n}$) $=\left[\begin{array}{cccc}1& 0& \dots & 0\\ 0& 1& \dots & 0\\ ⋮& ⋮& & ⋮\\ 0& \dots & \dots & 1\end{array}\right]$

单位矩阵的特性：对于任意矩阵 $A$ 和单位矩阵 $I$，有：$A\cdot I=I\cdot A=A$

• 注意维度的对应关系，上式中两个 $I$ 的维度可能不同

3-6 逆与转置（Inverse and Transpose）

方阵（square matrix）：行列数相等的矩阵
零矩阵：所有元素均为0的矩阵

矩阵的逆（matrix inverse）：若 $A$ 为 $m\times m$ 矩阵（方阵），且其有逆矩阵（记作 $A^{(-1)}$），则有：
$$A{A}^{(-1)}=A^{(-1)}A=I$$

• 方阵才有逆矩阵
• 奇异矩阵（singular matrix）/退化矩阵（degenerate matrix）没有逆矩阵
  • 零矩阵是奇异矩阵的一种

矩阵的转置（matrix transpose）：对于矩阵 $A=(A_{ij})$，其转置矩阵为 $A^T=(A_{ij}^T)$，其中 $A_{ij}^T=A_{ji}$

• 即：矩阵 $A$ 的行是其转置矩阵 $A^T$ 的列（同序数）
• 求转置可以看作是沿矩阵的45°对角线作镜像操作，或沿对角线进行翻转
• 维度：若 $A$ 的维度为 $m\times n$，则 $A^T$ 的维度为 $n\times m$