向量的 Dot Product（点乘）、Outer Product（外积） 和 Cross Product（叉乘）

向量的 Dot Product（点乘）、Outer Product（外积） 和 Cross Product（叉乘） 是三种不同的运算方式，每一种都有特定的数学意义和应用场景。它们的主要区别：

---

1. 点乘（Dot Product）

定义：

点乘是两个向量之间的运算，结果是一个标量。

$$\mathbf{a}\cdot \mathbf{b}=\Vert \mathbf{a}\Vert \Vert \mathbf{b}\Vert \cos \theta$$

其中：

• $\Vert \mathbf{a}\Vert$ 和 $\Vert \mathbf{b}\Vert$ 是向量的模长。
• $\theta$ 是两个向量之间的夹角。

矩阵形式：

点乘可以通过矩阵表示为：

$$\mathbf{a}\cdot \mathbf{b}={\mathbf{a}}^{\top }\mathbf{b}$$

结果维度：

结果是一个标量（单一数值）。

几何意义：

• 表示$\mathbf{a}$ 在 $\mathbf{b}$ 方向上的投影长度乘以 $\Vert \mathbf{b}\Vert$。
• 反映了两个向量之间的相似性，点乘越大，两个向量的夹角越小。
• 如果 $\mathbf{a}\cdot \mathbf{b}=0$，说明两向量正交。

应用：

• 判断两个向量是否正交（$\mathbf{a}\cdot \mathbf{b}=0$）。
• 计算向量的投影。
• 用于计算角度或相似性。
• 在物理学中用于功和能量的计算。

---

2. 外积（Outer Product）

定义：

外积是两个向量之间的运算，结果是一个矩阵。

$$\mathbf{a}\otimes \mathbf{b}=\mathbf{a}{\mathbf{b}}^{\top }$$

其中：

• $\mathbf{a}$ 是 $m\times 1$ 列向量。
• $\mathbf{b}$ 是 $n\times 1$ 列向量。
• 结果是 $m\times n$ 的矩阵。

矩阵形式：

外积直接构造一个矩阵：

$$\mathbf{a}\otimes \mathbf{b}=\left[\begin{array}{c}{a}_1\\ a_2\\ a_3\end{array}\right]\left[\begin{array}{ccc}{b}_1& b_2& b_3\end{array}\right]=\left[\begin{array}{ccc}{a}_1{b}_1& a_1{b}_2& a_1{b}_3\\ a_2{b}_1& a_2{b}_2& a_2{b}_3\\ a_3{b}_1& a_3{b}_2& a_3{b}_3\end{array}\right]$$

结果维度：

结果是一个矩阵。

几何意义：

• 外积描述了如何将一个向量扩展成一个张量或矩阵。
• 没有直接的几何意义，但在构造线性变换中非常有用。

应用：

• 在机器学习中用于构造特征矩阵或协方差矩阵。
• 用于张量代数和多维数据表示。

---

3. 叉乘（Cross Product）

定义：

叉乘是两个向量之间的运算，结果是一个新的向量，垂直于输入的两个向量。

$$\mathbf{a}\times \mathbf{b}=\Vert \mathbf{a}\Vert \Vert \mathbf{b}\Vert \sin \theta \mathbf{n}$$

其中：

• $\Vert \mathbf{a}\Vert$ 和 $\Vert \mathbf{b}\Vert$ 是向量的模长。
• $\theta$ 是两个向量之间的夹角。
• $\mathbf{n}$ 是垂直于 $\mathbf{a}$ 和 $\mathbf{b}$ 的单位向量。

矩阵形式：

叉乘可以用反对称矩阵表示：

$$\mathbf{a}\times \mathbf{b}=[\mathbf{a}{]}_{\times }\mathbf{b},[\mathbf{a}{]}_{\times }=\left[\begin{array}{ccc}0& -a_3& a_2\\ a_3& 0& -a_1\\ -a_2& a_1& 0\end{array}\right]$$

• $[\mathbf{a}{]}_{\times }$被称为叉乘矩阵（反对称矩阵）。

结果维度：

结果是一个向量。

几何意义：

• 结果向量的模长等于输入向量构成的平行四边形的面积。
• 结果向量的方向垂直于 $\mathbf{a}$ 和 $\mathbf{b}$ 的平面。

应用：

• 计算两个向量张成的平行四边形面积。
• 用于物理学中的力矩、角速度等计算。
• 计算法向量。

---

区别总结

运算	公式	结果	维度	几何意义	常见应用
点乘	$\mathbf{a}\cdot \mathbf{b}$	标量	单个数值	向量方向投影、角度关系	计算夹角、投影、相似性计算、能量计算
外积	$\mathbf{a}\otimes \mathbf{b}$	矩阵	$m\times n$	无直接几何意义，张量扩展	构造矩阵、张量表示、特征矩阵、协方差矩阵
叉乘	$\mathbf{a}\times \mathbf{b}$	向量	向量	平行四边形面积、方向垂直	面积计算、法向量、物理力学计算

这三种运算形式各有用途，具体选择取决于问题的数学背景和需求。