基本概念------内积与外积 inner & outer product

最新推荐文章于 2024-11-03 11:36:10 发布

原创最新推荐文章于 2024-11-03 11:36:10 发布 · 1.7k 阅读

7 ·

CC 4.0 BY-SA版权

文章标签：

#数学

基础知识专栏收录该内容

3 篇文章

订阅专栏

本文介绍了向量的内积（点乘）和外积的概念，展示了如何通过numpy库进行计算。内积与向量的范数相关，外积则涉及矩阵的升维操作。此外，还提及了点乘（dot product）和元素乘积（Hadamard product）在深度学习中的应用，尤其是卷积运算中元素乘积的重要性。

部署运行你感兴趣的模型镜像

coursera

讨论内积与外积之前，首先定义两个基本列向量：

$\mathbf{u} = \left[ \begin{matrix} u_1 \\ u_2 \\ u_3 \end{matrix} \right] ,\quad \mathbf{v} = \left[ \begin{matrix} v_1 \\ v_2 \\ v_3 \end{matrix} \right]$

Inner product 内积

$\mathbf{u}^T\mathbf{v} =\left[ \begin{matrix} u_1, u_2, u_3 \end{matrix} \right] \left[ \begin{matrix} v_1 \\ v_2 \\ v_3 \end{matrix} \right] =u_1v_1+u_2v_2+u_3v_3$

内积与范数紧密相关。

$KaTeX parse error: Undefined control sequence: \norm at position 2: \̲n̲o̲r̲m̲{\mathbf{u}}=(\…$

向量外积

$\mathbf{u}\mathbf{v}^T =\left[ \begin{matrix} u_1\\ u_2\\u_3 \end{matrix} \right] \left[ \begin{matrix} v_1,v_2,v_3 \end{matrix} \right] =\left[ \begin{matrix} u_1v_1 & u_1v_2 & u_1v_3 \\ u_2v_1 & u_2v_2 & u_2v_3 \\ u_3v_1 & u_3v_2 & u_3v_3 \end{matrix} \right]$

介绍完向量之间的inner & outer product 之后，我们来讨论矩阵的内积和外积。同样地，首先定义两个基本矩阵。
$\mathbf{U} = \left[ \begin{matrix} u_{11} & u_{12} & u_{13} \\ u_{21} & u_{22} & u_{23} \\ u_{31} & u_{32} & u_{33} \end{matrix} \right], \quad \mathbf{V} = \left[ \begin{matrix} v_{11} & v_{12} & v_{13} \\ v_{21} & v_{22} & v_{23} \\ v_{31} & v_{32} & v_{33} \end{matrix} \right]$

矩阵内积
$\begin{aligned} np.inner(U, V) = np.inner(V, U)^T\\ =\left[\begin{matrix} u_{11}v_{11}+u_{12}v_{12}+u_{13}v_{13} & u_{11}v_{21}+u_{12}v_{22}+u_{13}v_{23} & u_{11}v_{31}+u_{12}v_{31}+u_{13}v_{33} \\ u_{21}v_{11}+u_{22}v_{12}+u_{23}v_{13} & u_{21}v_{21}+u_{22}v_{22}+u_{23}v_{23} & u_{21}v_{31}+u_{22}v_{32}+u_{23}v_{33} \\ u_{31}v_{11}+u_{32}v_{12}+u_{33}v_{13} & u_{31}v_{21}+u_{32}v_{22}+u_{33}v_{23} & u_{31}v_{31}+u_{32}v_{32}+u_{33}v_{33} \end{matrix}\right] \end{aligned}$
example
$\begin{aligned} np.inner(U, V) &=\left[\begin{matrix} 1 & 2 \\ 3 & 4 \end{matrix}\right] \left[\begin{matrix} 5 & 6 \\ 7 & 8 \end{matrix}\right]\\ &=\left[\begin{matrix} 17 & 23 \\ 39 & 53 \end{matrix}\right] \end{aligned}$
矩阵外积

矩阵外积就是矩阵的升维运算，将两个矩阵拉成向量形式，再按向量的外积运算。如mxn维矩阵与pxq维矩阵的外积维度为(mn)x(pq). 两个2x2的矩阵外积维度为(2x2)x(2x2)=4x4.

例如
$\begin{aligned} np.outer(U, V) &=\left[\begin{matrix} 1 & 2 \\ 3 & 4 \end{matrix}\right] \left[\begin{matrix} 5 & 6 \\ 7 & 8 \end{matrix}\right]\\ &=\left[\begin{matrix} 1 \\ 2 \\ 3 \\ 4 \end{matrix}\right] \left[\begin{matrix} 5 & 6 & 7 & 8 \end{matrix}\right]\\ &=\left[\begin{matrix} 5 & 6 & 7 & 8 \\ 10 & 12 & 14 & 16 \\ 15 & 16 & 21 & 24 \\ 20 & 24 & 28 & 32 \\ \end{matrix}\right] \end{aligned}$

注意： $np.outer(b,a) = np.outer(a,b)^T$

补充1-点乘 dot product
点乘表示普通的矩阵惩罚
example
$\begin{aligned} np.inner(U, V) &=\left[\begin{matrix} 1 & 2 \\ 3 & 4 \end{matrix}\right] \left[\begin{matrix} 5 & 6 \\ 7 & 8 \end{matrix}\right]\\ &=\left[\begin{matrix} 19 & 22 \\ 43 & 50 \end{matrix}\right] \end{aligned}$
补充2-元素（乘积）Hadamard product / Element-wise multiplication / Element-wise product /Point-wise product
元素乘积与矩阵加法类似，使用对应元素相乘即可。因此要求两个乘数矩阵的维度一致。
example
$\begin{aligned} np.multiply(U, V) &=\left[\begin{matrix} 1 & 2 \\ 3 & 4 \end{matrix}\right] \left[\begin{matrix} 5 & 6 \\ 7 & 8 \end{matrix}\right]\\ &=\left[\begin{matrix} 5 & 12 \\ 21 & 32 \end{matrix}\right] \end{aligned}$
笔者注：在深度学习图像处理领域使用元素乘积的频率远高于点乘。卷积运算就是先求元素乘积再对元素乘积的结果求和。