11、神经网络分类模型架构详解

神经网络分类模型架构详解

1 二元分类模型的神经网络架构

1.1 闭式解

在最小二乘回归和分类的特殊情况下，可以使用训练数据矩阵 ( D )（( n \times d ) 矩阵，其行是 ( X_1 \cdots X_n )）的伪逆来进行闭式求解（无需梯度下降）。设因变量的 ( n ) 维列向量为 ( y = [y_1 \cdots y_n]^T )，矩阵 ( D ) 的伪逆定义如下：
[ D^+ = (D^T D)^{-1}D^T ]
行向量 ( W ) 由以下关系定义：
[ W^T = D^+y ]
如果加入正则化，系数向量 ( W ) 由下式给出：
[ W^T = (D^T D + \lambda I)^{-1}D^T y ]
其中 ( \lambda > 0 ) 是正则化参数。不过，对像 ( (D^T D + \lambda I) ) 这样的矩阵求逆通常需要使用数值方法，而这些方法无论如何都需要梯度下降。很少直接对像 ( D^T D ) 这样的大矩阵求逆。实际上，Widrow - Hoff 更新提供了一种非常有效的方法来解决这个问题，而无需使用闭式解。

1.2 逻辑回归

逻辑回归是一种概率模型，它根据概率对实例进行分类。由于分类是基于概率的，优化参数的自然方法是确保每个训练实例的观察类别的预测概率尽可能大。这一目标通过使用最大似然估计的概念来学习模型的参数来实现。训练数据的似然定义为每个训练实例的观察标签的概率的乘积。显然，这个目标函数的值越大越好。通过使用这个值的负对数，可以得到一个最小化形式的损失函数。因此，输出节点使用负对数似然作为损失函数，这个损失函数取代了 Widrow -