9、线性分类与损失函数详解

线性分类与损失函数详解

1. 线性分类简介

1.1 损失函数与权重偏置

损失函数用于量化预测的类别标签与真实标签的吻合程度。两者吻合度越高，损失越低，分类准确率也就越高（至少在训练集上如此）。训练机器学习模型的目标就是最小化损失函数，从而提高分类准确率。

在参数化学习中，权重矩阵 (W) 和偏置向量 (b) 是我们需要优化的参数。基于评分函数和损失函数的输出，我们会调整权重和偏置的值，以提高分类准确率。

1.2 从图像到标签的线性分类

假设训练数据集为 (x_i)，每个图像都有对应的类别标签 (y_i)，其中 (i = 1, …,N)，(y_i = 1, …,K)，这意味着我们有 (N) 个维度为 (D) 的数据点，分为 (K) 个不同的类别。

以“Animals”数据集为例，共有 (N = 3000) 张图像，每张图像为 (32×32) 像素，采用 RGB 颜色空间（即每个图像有三个通道），可将每个图像表示为 (D = 32×32×3 = 3072) 个不同的值，共有 (K = 3) 个类别标签，分别对应狗、猫和熊猫。

我们可以定义一个评分函数 (f)，将图像映射到类别标签得分，通过简单的线性映射实现：
[f(x_i,W,b) = Wx_i + b]

假设 (x_i) 是形状为 ([D×1]) 的单列向量，权重矩阵 (W) 的形状为 ([K×D])，偏置向量 (b) 的大小为 ([K×1])。偏置向量可以在不影响权重矩阵 (W) 的情况下，使评分函数在某个方向上进行平移。

在“Animals”数据集的例子中，(x_i) 的形状为 ([3072