使用单层感知器掌握多类分类：从头开始的 MATLAB 实现

介绍

单层感知器是最简单的神经网络架构之一，由输入层和输出层组成。因此，它可以用于各种分类任务，包括多类分类。

问题表述

对于多类分类问题，我们有一个包含n输入样本的数据集，每个样本都有d特征和总c类别。我们的目标是使用单层感知器学习从输入特征到类标签的映射。

单层感知器架构

单层感知器由连接到输出层的输入层组成。对于多类分类问题，输出层具有c神经元，每一类都有一个神经元。输入特征乘以权重并添加到偏差以产生逻辑。然后，将 softmax 函数应用于 logits 以获得类别概率。

数学公式

我们将输入特征矩阵表示为X（形状：nxd），权重矩阵表示为W（形状：dxc），偏差矩阵表示为b（形状：1 xc），其中n是样本数，d是特征数，c是数量类。logits 由 给出Z=X*W+b，softmax 函数应用于 logits 以获得类别概率。

损失函数

为了训练单层感知器，我们需要最小化衡量预测类别概率与真实类别标签之间差异的损失函数。对于多类分类，我们通常使用交叉熵损失函数，定义为：