6、感知机与梯度学习：原理与应用解析

感知机与梯度学习：原理与应用解析

1. 向量运算与多维张量扩展

向量和矩阵是张量这一更广义概念的特殊情况，张量相当于编程中的多维数组。若将向量 $\vec{a}$ 转置为只有一行的矩阵 $\vec{a}^T$，就可以进行 $\vec{a}^T$ 与向量 $\vec{b}$ 的矩阵乘法，从而省略点积运算符，这是一种常见且值得熟悉的表示方法。

当输入数据本身是多维的时候，就会用到张量。以彩色图像为例，它由像素值的二维数组组成，每个像素又包含红、绿、蓝三个分量（即 RGB），所以输入数据本身是三维的。如果有一组图像作为输入值，就可以将它们组织成四维张量。刚开始理解这些可能会比较棘手，通常需要一些时间来适应，最大的挑战是正确跟踪所有的索引。但最终，所有的计算通常都会归结为大量的点积运算。

2. 感知机的几何解释

对于一个双输入（加上偏置输入）的感知机，其决策边界可以通过两种方式可视化。一种是识别感知机输出为 -1 和 +1 的所有坐标；另一种是将 $z$ 作为 $x_1$ 和 $x_2$ 的函数进行绘制，形成一个三维图表。

在这个三维空间中，感知机的 $z$ 值形成一个平面。感知机的实际输出 $y$，对于平面上 $z$ 值小于 0 的点取 -1，对于 $z$ 值大于或等于 0 的点取 +1。如果从上方观察这个图表，并绘制 $z$ 值为 0 的线，就会得到与之前类似的决策边界图。

平面的位置和方向由三个权重决定：
- 偏置权重 $w_0$ 决定平面在 $x_1$ 和 $x_2$ 都为 0 时与 $z$ 轴的交点。改变 $w_0$ 会使平面在 $z$ 轴上上下移动。
- 另外两个权重 $w_1$ 和 $w_2