5、向量与矩阵运算及其在机器学习中的应用

向量与矩阵运算及其在机器学习中的应用

1. 向量正交性及其物理意义

当我们尝试垂直于推动物体的方向移动该物体时，会发现这是不可能的。实际上，力的方向与物体移动方向之间的夹角越大，力向量的作用效果就越差，当夹角为 90° 时，力完全不起作用。这就是为什么在水平面上行走相对容易（因为行走方向与重力方向垂直，重力向量不起作用），而在向上的斜坡上行走则更困难（重力向量会产生阻碍作用）。

这些物理概念可以通过向量的点积在数学上进行描述。两个向量 $\vec{a}$ 和 $\vec{b}$ 的点积定义为 $|\vec{a}||\vec{b}|\cos\theta$，其中 $\theta$ 是两个向量之间的夹角。当 $\theta = 0$ 时，两个向量方向一致，$\cos\theta = 1$，此时力的作用效果最大；随着 $\theta$ 的增大，$\cos\theta$ 减小，力的作用效果逐渐变差；当 $\theta = 90°$ 时，$\cos\theta = 0$，力完全无效。

如果两个向量的点积为零，则称这两个向量正交。从几何角度看，这意味着两个向量相互垂直；从物理角度看，这意味着两个向量相互独立，一个向量不会对另一个向量产生影响。例如，在某些文档特征向量中，如 $d_5$ 的特征向量为 $\begin{bmatrix}1\0\end{bmatrix}$，$d_6$ 的特征向量为 $\begin{bmatrix}0\1\end{bmatrix}$，它们的点积为零，是正交的，并且可以看出这两个文档没有共同的特征词。

2. 使用 NumPy 进行基本向量和矩阵运算

2.1 矩阵转置

以下是使用 Python 的 NumP