浅谈线性多分类分类器（全连接层、SVM、Softmax classifier等）

最新推荐文章于 2025-06-02 19:47:25 发布

原创

最新推荐文章于 2025-06-02 19:47:25 发布 · 2w 阅读

57 ·

CC 4.0 BY-SA版权

文章标签：

#机器学习 #多分类 #SVM #Softamx #cross entropy

本文深入探讨线性多分类器，包括线性分类器的矩阵乘法解释和模板匹配理解，以及SVM与Softmax分类器结合交叉熵损失函数的应用。文章通过CIFAR-10数据集举例，阐述了Score Function、Loss Function和Optimization过程，特别是反向传播在梯度下降中的作用。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

本文在CIFAR-10数据集上举例。CIFAR-10的训练集有50000张32*32*3的图片，包括10个类别。因此形成一个32*32*3 = 3072维的样本空间，此空间中其中包括50000个样本点。

一个机器学习（包括深度学习）多分类器的生命周期包括3大模块：

1.Score Function：

将3072维的input xi转化成一个10维的classfication score vector。这个模块可以plug in包括线性分类器、Neural Network, CNN, RNN等等。score function就是一个mapping，把高维input vector map到想要的低维输出空间上去。linear classifier用matrix multiplication完成了这个mapping，而NN、CNN、RNN则是用多个连接主义的matrix mul、filtering等操作来实现这个mapping。

（1）线性分类器：f(x) = W * x + b：

这里W是10 * 3072 维的matrix，x是3072 * 1维的一个input image flattened vector，b是10 * 1 维的scalar bias values。对于此线性分类器的训练，就是在学习W和b。当W和b训练完成固定之后，分类的test过程就是很简单的矩阵乘法（和加法）。

那么如何理解线性分类器呢？换言之，如何理解由W完成一次matrix multiplication就可以实现分类呢？W又有什么物理意义呢？

i. W的ensemble理解：

10*3072的W可以理解为10个1*3072维的row vector，每个row vector是CIFAR-10 10中类别中一类的打分器。每个row vector对应最终10*1维输出中的一维，即某个1*3072 vector of W 乘以 xi输出一个scalar value，这个实数就是该样本xi属于这个row vector对应类别的classification score。换言之，W * xi的矩阵乘法而不是向量乘法，是一中并行计算的模式，一次性完成10个类别的打分。

那么，W的每个row vector中的3072个数字又各自有什么意义呢？当将row vector与xi(3072 * 1)这个flattened image vector进行dot-product时，是对位相乘再相加： $\sum_j W^j_k * x^j_i$ 其中k = （1，2，。。。，10），i属于（1，50000），j属于（1，3072）。第k个row vector Wk的3072个数中的每一个对应着input image vector 3072个数字中的每一个。即，输入图像的每一个pixel location的每一个c