60、神经网络的概率无监督训练

神经网络的概率无监督训练

1. 引言

人工神经网络（ANNs）原则上是一类非参数模型。某些ANN家族（如多层感知器和径向基函数网络）具有“通用逼近”特性，这使得它们可能适用于任何给定（连续）形式的数据分布。虽然ANNs常用于估计概率，但在估计概率密度函数（pdf）方面尚未得到充分利用。这主要是因为通过标准的监督反向传播，在为训练数据定义0/1目标输出后，很容易实现概率的连接主义建模，并且还能简单地引入约束，使ANN可以用概率术语解释。然而，学习pdf是一个无监督且不那么明显的任务。接下来，我们将讨论用于pdf估计的连接主义方法，包括基于约束径向基函数（RBF）网络的方法和基于多层感知器（MLP）的方法。

2. 通过约束RBF网络估计pdf

2.1 模型设定

设 $T = {x_1, \cdots, x_N}$ 是从未知pdf $p(x)$ 中独立同分布（iid）抽取的 $N$ 个 $d$ 维连续值观测的随机样本。可以使用径向基函数（RBF）网络来获得未知pdf $p(x)$ 的模型 $\hat{p}(x|\hat{\theta})$，其中 $\hat{\theta}$ 是RBF的参数向量，包括RBF隐藏层到输出层的权重以及表征高斯核的参数。为了确保得到的是一个pdf（即非负输出且在整个定义域上的积分等于1），需要对RBF的隐藏层到输出层的连接权重施加约束（假设使用归一化的高斯核）。

2.2 最大似然估计

基于iid假设，给定 $T$ 对RBF参数 $\hat{\theta}$ 进行最大似然（ML）估计，即最大化以下量：
[p(T|\hat{\theta}) = \prod_{i = 1}^{N} \