17、感知机决策与模式学习的深入剖析

感知机决策与模式学习的深入剖析

1. 高斯激活函数感知机的特性

Dawson和Schopflocher证明了使用高斯激活函数输出单元的感知机，能够通过为积分设备推导的梯度下降规则的变体进行训练。他们开发的学习规则与传统梯度下降规则有两点不同：一是使用了高斯方程的一阶导数；二是使用了详细的输出单元误差表达式，其中包含传统梯度下降规则中没有的启发式组件。

使用值单元作为感知机输出既有优势也有局限。优势在于能解决一些线性不可分问题，例如异或（XOR）问题，还能检测特定图形的连通性，并且在许多基准问题上学习速度很快。然而，当激活函数为高斯函数时，可分配的两个阈值之间的差距非常小，导致它无法解决所有逻辑问题，如x ∨ y问题。

2. 三种学习规则的探索

可通过特定网站获取名为“Rosenblatt”的程序，利用它使用上述三种学习规则训练感知机。该程序还附带了许多示例训练文件，包括所有逻辑问题的文件。读者可借此探索不同类型感知机的优缺点，相关使用建议可在网站提供的程序手册中找到。

3. 感知机与经典条件反射

经典条件反射中，条件刺激（CS）最初不会引发期望反应，但与无条件刺激（US）反复配对后，最终能独立引发反应。从感知机角度看，每个输入单元可代表特定条件刺激的存在与否，输出单元的活动代表被条件化的反应。条件刺激与无条件刺激的配对通过目标值训练感知机来表示，学习结果体现为感知机权重的变化，代表条件刺激与反应之间关联的改变。

Sutton和Barto证明了感知机训练的delta规则与Rescorla - Wagner学习规则在形式上等价，这表明可将感知机训练规则视为经典条件反射的合理理论，还能利用感知机模拟探索其与动物学习