向量的各种积，都有哪些，分别如何表示

向量是线性代数中的基本概念，也是机器学习的基础数据表示形式。例如计算机阅读文本的过程首先就会将文本分词，然后用向量表示。这是因为向量很适合在高维空间中表达和处理。在机器学习中会接触到的诸如投影、降维的概念，都是在向量的基础上做的。这篇文章我们谈谈向量的各种积。

标量乘向量

标量 乘以向量 定义为：

在数学中，标量乘法是由线性代数中的向量空间定义的基本运算（更一般地说，它是抽象代数中的一个模块）。在通常的几何概念中，通过正实数的欧几里德向量的标量乘法将矢量的幅值相乘而不改变它的方向。 术语“标量”本身来自于这种用法：标量是向量的幅值。 标量乘法是向量乘以标量（乘积是向量），并且必须与两个向量的内积（乘积是标量）进行区分。

一个向量向量 乘以一个标量得到 ：

import numpy as np
a = np.array([-1, 2])
print a * 3 #[-3, 6]

向量点积

向量的点积（又叫点乘）定义如下：

点积在数学中，又称数量积（dot product; scalar product），是指接受在实数R上的两个向量并返回一个实数值标量的二元运算。它是欧几里得空间的标准内积。

可见点积得到的是一个标量。

例如：

$\left[\begin{array}{ccc}3& 5& 2\\ 1& 4& 7\end{array}\right]$ = $3\cdot 1+5\cdot 4+2\cdot 7=37$

import numpy as np
a = np.array([3, 5, 2])
b = np.array([1, 4, 7])
print a.dot(b)  # 37
print np.dot(a, b)  # 37（另一种等价写法）

容易证明点积满足乘法交换律、分配律和结合律。

关于点积还有一个非常重要的性质，称为 柯西不等式 ：

• 对两个非 0 向量 $x⃗,y⃗\in Rn，|x⃗\cdot y⃗|\le \Vert x⃗\Vert \Vert y⃗\Vert$。
• 当且仅当 $x⃗=cy⃗$ 时，等式成立。

向量外积

向量的（又叫叉乘、向量积、叉积）只在 $R^2$ 和 $R^3$ 中定义：

$R^2$ 的向量外积：

$\left[\begin{array}{c}a1\\ a2\end{array}\right]$ * $\left[\begin{array}{c}b1\\ b2\end{array}\right]$ = $[a1\cdot b2-a2\cdot b1]$

$R^3$ 的向量外积：

$\left[\begin{array}{c}a1\\ a2\\ a3\end{array}\right]$ * $\left[\begin{array}{c}b1\\ b2\\ b3\end{array}\right]$ = $\left[\begin{array}{c}a2\cdot b3-a3\cdot b2\\ a3\cdot b1-a1\cdot b3\\ a1\cdot b2-a2\cdot b1\end{array}\right]$

可见向量间外积的结果会得到一个新的向量。

import numpy as np
a = np.array([3, 5, 2])
b = np.array([1, 4, 7])
print np.cross(a, b)  # [27, -19, 7]

矩阵向量积

矩阵的向量积可以当成是矩阵的所有列向量的线性组合：
例如矩阵 $A=\left[\begin{array}{ccc}4& 1& 3\\ 2& 1& 5\end{array}\right]$乘以向量 $x⃗$ =$\left[\begin{array}{c}5\\ 2\\ 7\end{array}\right]$ 的结果为：

$\left[\begin{array}{c}4\cdot 5+3\cdot 2+1\cdot 7\\ 1\cdot 5+2\cdot 2+5\cdot 7\end{array}\right]$ = $\left[\begin{array}{c}33\\ 44\end{array}\right]$

例如：

a = np.matrix('4 3 1;1 2 5')
x = np.array([[5], [2], [7]])
print a*x  # [[33] [44]]