Deep Learning, Score function, Loss function 和 optimization function（二）

接上篇......

我们先看看SVM，

要loss小，SVM希望正确分类的得分要至少比所有不正确分类的得分都高个固定的分数△（比如高个10分），如果达到了这个要求loss就是0，看看公式吧：

其中s是score的缩写，表明得分，j是每一个分类（比如猫类，车类）而yi则是正确的分类，注意j≠yi。 这个公式的意思就是说：将每一个分类的得分减去正确分类的得分再加上一个固定分，然后在跟0

比较后取大的，然后累加，这就是loss值了。仔细看该公式，可以发现要想loss为0，错误分类的分数一定要低于正确分类并且至少低个△分才行。

下面图很好的展示了这个要求：

如果错误分类的得分都落在了绿区，那loss为0，否则只要有一个分类的得分在红区，那loss就不为0了。

到了这里，还有一个不得不提的概念：Regularization

什么是Regularization呢？ 简单来说它施加影响的对象是W，用于导向W的选择。

举个例子：在线性分类中我们的score函数是：Wx + b对吧，去掉b就是Wx， 然后loss 函数SVM的计算公式其实就是Wxj - Wxyi + △对吧，假设xj通过这个公式计算出的loss为0，

那βWxj - βWxyi + △（β>1）的loss肯定也是0对吧。这W也太多了吧，总有个取舍吧，那么就需要Regularization了。

常用的Regularizat