内积与外积(Inner/Outer/Interior/Exterior)Product 及在计算机中的概念

向量和矩阵中有内积、外积等运算，但由于Outer Product和Exterior Product中文翻译都是“外积”。
Outer Product是线性代数中的外积(WikiPedia: Outer Product)，也就是张量积 ；
Exterior Product是解析几何中的外积(WikiPedia: Exterior Algebra)，又叫叉乘(WikiPedia: Cross Product)，即两个向量的法向量，一般用在三维空间。

向量内积（Inner product） ：

A·B，<a,b>，得到一个数

这个最好理解，又叫向量点乘,也叫向量的内积、数量积。顾名思义,求下来的结果是一个数.
向量a·向量b=|a||b|cos
在物理学中,已知力与位移求功,实际上就是求向量F与向量s的内积，即要用点乘。

向量外积分两种(Outer Product和Exterior Product)：

Outer Product

又称张量积，例如线性代数中一列乘一行得到的一个矩阵，两个向量的Outer Product是一个矩阵

一般写作 aⓧb

注意：np中多维向量的外积都是先拉平，再求外积，如下（和矩阵外积有区别）：

 Exterior Product（即中学课本常见的“外积”）：

又称作叉乘，如下图所示，写作 a X b，几何意义为两个向量的法向量

矩阵乘法有很多种：

一般矩阵乘法，称作matmul product，中学课本的乘法，不做过多描述：

矩阵外积（升维运算）：一般指的是Kronecker product（克罗内克积）

A⊗B，两个任意矩阵大小都可相乘

矩阵外积就是矩阵的升维运算，将两个矩阵拉成向量形式，再按向量的外积运算。如mxn维矩阵与pxq维矩阵的外积维度为(mn)x(pq). 两个2x2的矩阵外积维度为(2x2)x(2x2)=4x4.

如

 矩阵内积：一般认为，矩阵内积是矩阵对应元素成绩之和，类似于CNN的卷积。

如下图所示

矩阵元素积（element-wise product, point-wise product, Hadamard product），一般指Hadamard product（哈达玛积），如下所示：

一般写作：A⊙B

矩阵点积：点积(dot product)，也称内积(inner product)，标量积（scalar product）

符号：A.B，<a,b>，和矩阵内积一样，对应元素相乘之和（有的地方可能把dot product计算为按照元素相乘后的矩阵，类似于按元素乘法，要根据具体情况和代码来分析，这块概念太杂了），要求两个矩阵大小一样。

       1.向量点积。变成一个数。

        2.矩阵点积。是每行每列的点积的矩阵（这句话存在争议，我觉得和向量点积一样）

     

矩阵的内积、外积、Hadamard积相关正确定义见：

矩阵内积、外积（克罗内克积）和Hadamard积_zhinanpolang的专栏-优快云博客_矩阵内积

PS：深度学习论文中，numpy中的常见运算，主要以矩阵按元素乘(A⊙B）、哈达玛积（外积，A⊗B）为主，可适当参考（这篇文章有些概念不一定对，比如矩阵内积的解释）：基本概念------内积与外积 inner & outer product_My_Communication的博客-优快云博客_矩阵外积

numpy中的np.outer等应用：

Numpy中outer的应用_秦昊wan-优快云博客_numpy.outer

详细的概念和符号表示，可参考（矩阵外积之处有误，计算成正确结果的转置矩阵）：

矩阵的各种乘积_zkq_1986的博客-优快云博客_矩阵点积

部分图引用自：

190722-内积与外积(Inner/Outer/Interior/Exterior)Product_KL's Notebook-优快云博客

向量的点乘（内积）和叉乘（外积）_mjiansun的专栏-优快云博客_多维向量叉乘

感谢以上几位博主，主要根据他们的博客汇总而来的。难免有错误之处，一起改进！