聊聊机器学习中的损失函数

机器学习算法一般都是对损失函数(Loss Function)求最优，大部分损失函数都是包含两项：损失误差项(loss term)以及正则项(regularization term):
J(w)=∑iL(mi(w))+λR(w)

损失误差项

常用的损失误差项有5种:

1. Gold Standard
2. Hinge:Svm
3. log:logistic regression(cross entropy error)
4. squared:linear regression
5. Exponential:Boosting

Gold Standard Loss

Gold Standard又称0-1误差，其结果又称为犯错与不犯错,用途比较广(比如PLA模型)，其损失函数也是相当的简单:
y={ 0ifm≥01ifm≤0

Hinge Loss

Hinge的叫法来源于其损失函数的图形，为一个折线，通用函数方式为:
L(mi)=max(0,1−mi(w))

Hinge可以解 间距最大化 问题，带有代表性的就是svm,最初的svm优化函数如下:
argminw,ζ12||w||2+C∑iζist.∀yi