5、简单神经元中的学习机制解析

简单神经元中的学习机制解析

1. 简单神经元学习的基础概念

在构建神经元模型时，我们需要一种学习机制，因为将神经元连接成网络后，只有经过训练，网络才能发挥实际作用。学习能力是这些网络具有实用性的关键。我们期望找到最简单的学习规则，以便让模型更易于理解。

从现实的神经系统中可以获得灵感，例如小孩在数学测试中表现好会得到表扬，过马路不看路会被责骂；狗听从召唤会得到食物奖励。这些例子体现了对良好行为的强化和对不良行为的抑制。我们可以将这种理念应用到网络中，强化期望重复的行为，抑制不期望的行为。

假设我们有两组对象，如不同写法的字母 A 和字母 B，我们希望神经元能够区分它们，当输入 A 时输出 1，输入 B 时输出 0。

2. 学习规则的推导

为了让模型神经元具备学习能力，我们要让它从错误中学习。当神经元的输入线权重随机设置时，它处于初始的无知状态。以输入 A 为例，神经元会计算输入的加权和并与阈值比较。若超过阈值则输出 1，否则输出 0。最初，正确输出的概率是 50%。

• 正确输出情况 ：如果神经元正确输出，无需对权重进行调整。
• 错误输出情况 ：当输入 A 却输出 0 时，我们需要增加加权和，使其下次能超过阈值输出 1，这可以通过增加权重来实现；当输入 B 时，我们希望神经元输出 0，即加权和小于阈值，所以每次输入 B 时要减小权重。

总结来说，当期望输出为 1 时，将输入值加到权重上；期望输出为 0 时，从权重中减去输入值。这种学习规则只影响当前活跃的输入，因为不活跃的输入对