4、向量运算及其在机器学习和数据科学中的应用

向量运算及其在机器学习和数据科学中的应用

1. 点积运算

1.1 点积的定义

点积是机器学习和数据科学中常用的运算，它用于计算两个向量对应元素乘积的和。给定两个向量 $\vec{x} = \begin{bmatrix}x_0 \ x_1 \ \vdots \ x_n\end{bmatrix}$ 和 $\vec{w} = \begin{bmatrix}w_0 \ w_1 \ \vdots \ w_n\end{bmatrix}$，它们的点积定义为：
$\vec{x} \cdot \vec{w} = x_0w_0 + x_1w_1 + \cdots + x_nw_n$

1.2 点积在模型输出中的应用

以简单的加权和模型为例，假设权重向量 $\vec{w} = \begin{bmatrix}3 \ 2\end{bmatrix}$，偏置值 $b = 5$，对于输入实例 $\begin{bmatrix}0.11 \ 0.09\end{bmatrix}$，模型输出可以通过点积运算得到：
$\begin{bmatrix}0.11 \ 0.09\end{bmatrix} \cdot \begin{bmatrix}3 \ 2\end{bmatrix} + 5 = 0.11 \times 3 + 0.09 \times 2 + 5 = 5.51$

然而，这个输出与期望输出 $-0.89$ 相差甚远，说明当前的权重和偏置参数不是最优的。但点积为表示简单加权和模型的输出提供了一种简洁的方式。

1.3 点积的性质

• 点积仅在向量具有相同维度时才有定义。
• 点积有时