13、局部模型：神经网络的有效学习方法

局部模型：神经网络的有效学习方法

1. 引言

函数逼近的一种方式是将输入空间划分为局部块，并在每个局部块中学习单独的拟合。在聚类方面，竞争方法是用于在线聚类的神经网络方法，本章将探讨在线k - 均值、自适应共振理论（ART）和自组织映射（SOM）等方法。之后会讨论输入局部化后监督学习的实现方式，若局部块的拟合为常数，这种技术被称为径向基函数（RBF）网络；若为输入的线性函数，则称为专家混合（MoE），同时会对回归和分类问题进行讨论，并与多层感知器进行比较。

2. 竞争学习

竞争学习假设数据中存在k个组（或簇），但不强制使用源的参数模型，且学习方法是在线的。训练时并非一次性获取整个样本，而是逐个接收实例并更新模型参数。这种学习方式如同各个组（或代表这些组的单元）相互竞争，以负责表示一个实例，也被称为胜者全得模型。

在线方法具有诸多优点：
- 无需额外内存存储整个训练集。
- 每一步的更新易于实现，例如在硬件中。
- 输入分布可能随时间变化，模型能自动适应这些变化。

后续将结合监督方法来学习回归或分类问题，构建一个由两层网络实现的两阶段系统，第一层对输入密度建模并找到负责的局部模型，第二层由局部模型生成最终输出。

2.1 在线k - 均值

重建误差定义为：
[E({m_i} {i = 1}^{k}|X) = \frac{1}{2}\sum {t}\sum_{i}b_{t}^{i}|x_t - m_i|^2]
其中
[b_{t}^{i} =
\begin{cases}
1, & \text{如果 }|x_t