32、监督模型：Madaline与学习向量量化算法解析

监督模型：Madaline与学习向量量化算法解析

1. Madaline算法

1.1 简介

Madaline是一种早期的可训练网络，具有多层神经元。它由一层可训练的自适应线性神经元（adalines）和一个输出层组成，输出层的神经元作为逻辑门，如与门（AND）、或门（OR）和多数表决门（MAJ）。不过，输出层神经元的权重是固定的，因此Madaline被归类为单层网络。

Madaline由Bernard Widrow和Marcian Hoff在20世纪60年代开发。早期的Madaline I在语音和模式识别、天气预报和自适应控制等领域有应用，后来也用于自适应信号处理。但随着更强大的反向传播算法的出现，Madaline I逐渐被取代。

1.2 用途

Madaline I及其变体通常用作分类器。

1.3 拓扑结构

Madaline I网络由两层神经元组成：
- 第一层是自适应线性神经元（adalines），每个神经元直接接收输入模式。
- 自适应线性神经元的输出经过硬限幅器（Heaviside函数）处理后，作为输入传递给第二层。
- 第二层由一个或多个神经元组成，这些神经元是逻辑功能门，如与门、或门或多数表决门。逻辑门神经元的权重是固定的，而第一层自适应线性神经元的权重是可调整的。

1.4 学习过程

学习是有监督的，训练集中的每个输入模式都有一个目标模式，通常为1或 -1。学习过程如下：
1. 输入模式呈现 ：将输入模式随机呈现给网络，避免循环呈现导致权重值的循环重复，影响收