【cs231n】线性分类模型：SVM，Softmax

http://cs231n.github.io/linear-classify/

###简介
对图像分类问题，我们将介绍一种比KNN更加有效的方法（KNN每次预测都需要让预测样本和所有训练样本比较，耗费资源）。这种方法有两个非常重要的部分：评分函数（Score Function） 和损失函数（Loss Function）。前者可以将输入数据 x 映射为类别分值（score class）（类别分值是样本 x 属于某个类的可能性指标，分数越高则越可能属于该类别）。后者主要用来衡量模型的输出（score classes）和真实值（ground truth label）之间的差距。我们将把问题转换为一个优化问题：通过调整评分函数的参数来最小化损失函数。

###评分函数
类别数：k=10
输入：D=32x32x3=3072 大小的图像，总数为N，每张图对应一个label：$y_i$。其中$i\in 1...N$, $y_i\in 1..k$
输出：类别分值 s
评分函数：$f：R^D\to R^k$

最简单的线性模型：$f(x_i,W,b)=W{x}_i+b,$
size: #x_i = D x 1, #W = k x D, #b = k x 1

• 这里的W其实包含了所有k个类的评分函数的参数。
• 通过$Wx$我们同时计算得到了x属于所有类别的score。
• 在训练时，我们假设输入数据$(x_i,y_i)$ 是被给定，固定的。我们的目的是希望学习参数，W，b。使得评分函数能够对x进行争取的映射，对它的正确类别，我们希望有更高的score，而对其他类，我们则希望score会更低。
• 训练的时候我们不停地使用训练数据，但是训练一旦结束，我们只保留W,b
• 在测试时，因为我们只需要进行一次矩阵乘法，所以会比训练快很多。

###损失函数
训练：

- 输入：batch_size=M 个$(x_i, y_i)$的组合
- 输出：参数为W, b的模型

损失函数：对一个数据 $x_i$，定义损失函数$L_i$，每次训练求得所有当前输入数据的Loss均值，添加正则项得到损失函数L。
$$L=$$