19、使用深度学习对手写数字进行分类

使用深度学习对手写数字进行分类

1. 感知机学习规则

学习规则从数学上规定了如何从一次迭代到下一次迭代更新权重系数，通常依赖于在训练数据上观察到的误差（由成本函数衡量）。20世纪50年代，美国心理学家和人工智能研究员Frank Rosenblatt发明了感知机学习规则，该算法能自动学习执行准确二元分类所需的最优权重系数 $w_0$ 和 $w_1$。

1.1 感知机算法步骤

1. 初始化权重 ：将权重初始化为零或一些小的随机数。
2. 对每个训练样本 $s_i$ 执行以下操作 ：
   • 计算预测目标值 $\hat{y}_i$。
   • 比较 $\hat{y}_i$ 与真实值 $y_i$，并相应地更新权重：
     • 如果两者相同（预测正确），跳过。
     • 如果两者不同（预测错误），分别将权重系数 $w_0$ 和 $w_1$ 推向正或负目标类。

1.2 权重更新规则

权重更新规则旨在使分类更准确。通过比较感知机对每个数据点 $i$ 的预测输出 $\hat{y} i$ 与真实值 $y_i$ 来更新权重。若两者相同，预测正确，无需更改；若不同，则将权重分别推向正或负类。更新公式如下：
$\Delta w_j = \eta (y_i - \hat{y}_i) x {ij}$
其中，$\eta$ 表示学习率（通常是0到1之间的常数