线性代数基础 | 向量和矩阵的定义与性质

一、向量的基本概念

A. 向量的定义

向量是数学中的一个基本概念，它表示在空间中具有大小和方向的量。向量可以用箭头来表示，箭头的长度表示向量的大小（模），箭头的方向表示向量的方向。

在坐标系中，向量通常表示为有序数对 $(x,y)$ 或有序三元组 $(x,y,z)$，其中 $x,y,z$ 分别表示向量在 $x$ 轴、$y$ 轴、$z$ 轴方向上的大小，也称为向量的分量。向量的长度（模）表示为 $|\mathbf{v}|$，其中 $\mathbf{v}$ 表示向量。

例如，在二维坐标系中，一个向量 $\mathbf{v}$ 可以表示为 $(x,y)$ 或 $\mathbf{v}=x\mathbf{i}+y\mathbf{j}$，其中 $\mathbf{i}$ 和 $\mathbf{j}$ 分别表示 $x$ 轴和 $y$ 轴正方向的单位向量。

需要注意的是，向量和标量（单个数值）是不同的概念。标量只有大小，而向量有大小和方向。

B. 向量的表示方法

向量有多种表示方法，其中比较常见的有以下几种：

1. 坐标表示法：向量在坐标系中可以表示为一个有序数对、有序三元组等，其中每个分量表示向量在坐标系的各个方向上的大小。
2. 箭头表示法：向量可以用箭头来表示，箭头的长度表示向量的大小（模），箭头的方向表示向量的方向。
3. 线段表示法：向量也可以表示为起点和终点之间的有向线段，起点表示向量的位置，线段的方向和长度分别表示向量的方向和大小。
4. 分解表示法：向量可以分解为若干个基向量的线性组合，其中基向量是指在坐标系中与坐标轴正方向重合的单位向量。
5. 矩阵表示法：向量可以表示为一个列向量或行向量的形式，其中列向量是一个 $n$ 行 $1$ 列的矩阵，行向量是一个 $1$ 行 $n$ 列的矩阵。

在机器学习中，通常使用矩阵表示法来表示向量，因为矩阵具有更好的运算性质。同时，基向量的线性组合也是机器学习中常见的概念，例如，多元线性回归中就是使用基向量的线性组合来表示数据。

C. 向量的加法和减法

向量的加法和减法是向量运算中的基本操作，它们的定义如下：

设 $\mathbf{a}$ 和 $\mathbf{b}$ 是两个向量，则它们的和 $\mathbf{a}+\mathbf{b}$ 和差 $\mathbf{a}-\mathbf{b}$ 分别定义为：

$$\begin{array}{rl}\mathbf{a}+\mathbf{b}& =(a_1+b_1,a_2+b_2,\cdots ,a_n+b_n)\\ \mathbf{a}-\mathbf{b}& =(a_1-b_1,a_2-b_2,\cdots ,a_n-b_n)\end{array}$$

其中 $a_i$ 和 $b_i$ 分别表示向量 $\mathbf{a}$ 和 $\mathbf{b}$ 在第 $i$ 个方向上的分量，$n$ 表示向量的维度。需要注意的是，向量加法和减法要求两个向量具有相同的维度。

图示来看，向量加法和减法的几何意义如下：

• 向量加法：将一个向量平移后叠加在另一个向量上，得到一个新的向量。
• 向量减法：将一个向量平移后以另一个向量的相反方向叠加在另一个向量上，得到一个新的向量。

可以使用坐标表示法或箭头表示法来表示向量加法和减法。例如，在二维坐标系中，设向量 $\mathbf{a}=(a_1,a_2)$，向量 $\mathbf{b}=(b_1,b_2)$，则它们的和可以表示为 $\mathbf{a}+\mathbf{b}=(a_1+b_1,a_2+b_2)$，在坐标系中表示为将向量 $\mathbf{b}$ 平移后叠加在向量 $\mathbf{a}$ 上得到的新向量。向量的减法可以表示为 $\mathbf{a}-\mathbf{b}=\mathbf{a}+(-\mathbf{b})$，其中 $-\mathbf{b}$ 表示向量 $\mathbf{b}$ 的相反向量。

B. 向量的数量积和向量积

向量的数量积和向量积是向量运算中的两种常见操作，它们分别表示为：

1. 向量的数量积：也称为点积或内积，表示为 $\mathbf{a}\cdot \mathbf{b}$，定义为：

$$\mathbf{a}\cdot \mathbf{b}=a_1{b}_1+a_2{b}_2+\cdots +a_n{b}_n=\sum _{i=1}^n{a}_i{b}_i$$

其中 $a_i$ 和 $b_i$ 分别表示向量 $\mathbf{a}$ 和 $\mathbf{b}$ 在第 $i$ 个方向上的分量，$n$ 表示向量的维度。向量的数量积是一个标量，表示为两个向量在空间中的夹角的余弦值乘上它们的模长之积，即 $\mathbf{a}\cdot \mathbf{b}=|\mathbf{a}||\mathbf{b}|\cos \theta$，其中 $\theta$ 表示 $\mathbf{a}$ 和 $\mathbf{b}$ 之间的夹角。

2. 向量的向量积：也称为叉积或外积，表示为 $\mathbf{a}\times \mathbf{b}$，定义为：

$$\mathbf{a}\times \mathbf{b}=\left|\begin{array}{ccc}\mathbf{i}& \mathbf{j}& \mathbf{k}\\ a_1& a_2& a_3\\ b_1& b_2& b_3\end{array}\right|=(a_{}$$