61、神经网络的概率无监督训练探索

神经网络的概率无监督训练探索

1. MLP 与 PW 估计对比

MLP（多层感知器）的训练算法虽简单，但有望克服 PW（可能是某种方法）的大部分局限。相关实验表明，MLP 的估计可能比 PW 更准确。

2. 从概率密度函数估计到在线神经聚类

2.1 竞争神经网络（CNN）概述

CNN 是基于最大似然（ML）参数技术的在线无监督聚类的连接主义方法。它是单层前馈模型，各单元相互竞争对输入模式进行分类，输入模式会被分配给最近的输出单元（即获胜单元），该单元代表了一组原型中最具代表性的一个，与聚类概念紧密相关。

在网络中，输入向量的传播是将模式投影到进入每个输出单元的连接权重上，连接权重代表相应聚类的质心。前向传播的目的是找到离输入向量最近的质心，即获胜单元。训练时，使用简单的权重更新规则将获胜单元的质心移向新的模式，使质心的分量代表属于相应聚类的输入模式的移动平均值，这本质上是一些分区聚类算法的在线版本。

2.2 最大似然估计推导

考虑训练集 $T = {x_k | k = 1, \cdots, N}$，输入样本 $x_1, \cdots, x_N$ 从有限混合密度中抽取：
[p(x | \theta) = \sum_{i = 1}^{C} \Pi_i p_i(x | \xi_i)]
其中，$p_i(\cdot)$ 的参数形式、混合参数 $\Pi_1, \cdots, \Pi_C$ 已知，$\theta = (\xi_1, \cdots, \xi_C)$ 是与每个分量密度相关的所有参数向量。

假设样本独立从 $p(x | \theta)$ 抽取，观察数据