17、神经网络的线性网络与Hopfield网络解析

神经网络的线性网络与Hopfield网络解析

1. 线性网络的应用与局限

线性网络在神经网络领域有着特定的应用场景，但也存在一定的局限性。

1.1 示例程序

可以尝试运行示例程序 nnd10lc ，它能解决一个经典且具有历史意义的问题，展示如何训练网络对各种模式进行分类，以及当呈现噪声模式时训练好的网络如何响应。

1.2 线性网络的局限性

• 只能学习线性关系 ：线性网络只能学习输入和输出向量之间的线性关系，因此无法解决一些问题。不过，即使不存在完美的解决方案，只要学习率 lr 足够小，线性网络会使误差平方和最小化。这是因为线性网络的误差表面是一个多维抛物线，而抛物线只有一个最小值，梯度下降算法（如LMS规则）必然会在该最小值处产生解决方案。
• 其他局限性 ：
  • 超定系统 ：考虑一个超定系统，假设有一个网络要用四个单元素输入向量和四个目标进行训练。对于每个输入， wp + b = t 可能不存在完美的解决方案，因为有四个约束方程，而只有一个权重和一个偏置需要调整。但LMS规则仍然可以使误差最小化。可以尝试 demolin4 来查看具体实现。
  • 欠定系统 ：考虑一个具有单个输入的线性神经元。在 demolin5 中，仅用一个单元素输入向量及其单元素目标