[CS231n Assignment #1] 简单图像分类器——SVM线性分类器

作业介绍

• 作业主页：Assignment #1
• 作业目的：
  • 针对SVM，实现一个全向量化的 损失函数(loss function)
  • 实现损失函数的矢量化解析梯度（analytic gradient）
  • 用 数值梯度（numerical gradient） 检验解析梯度是否正确
  • 使用测试集（val set）调试学习率和正则化程度大小（ the learning rate and regularization）
  • 使用 SGD 更新策略 最优化我们的SVM损失函数
  • 可视化最后学习到的权重
• 官方给的示例代码：assigment #1 code

知识点简单回顾

多类支持向量机（Support Vector Machine, SVM）的分类目标是使得正确类别的得分（$W^{T}X$）比其它类别的得分尽可能的大一个间隔(margin)，用 $△$来表示。
对于单个样本 $x_i$，其损失函数表示为：

将 $s_j=W_j^T\ast x_i,s_{y_i}=W_{y_i}^T\ast x_i$ （即第 $j$ 类的得分和第 $y_i$ 类别的得分）带入上式有：


其中， $(x_i,y_i)$ 表示正确类别， $s_{y_i}$ 表示正确类别预测的分数，$s_j$ 表示错误类别预测的分数。即我们希望 $s_j$ 比 $s_{y_i}$ 要小 △ \bigtriangleup </