SVM（支持向量机）之Hinge Loss解释

最新推荐文章于 2025-07-01 16:24:29 发布

转载

最新推荐文章于 2025-07-01 16:24:29 发布 · 1.8k 阅读

0 ·

CC 4.0 BY-SA版权

原文链接：http://www.cnblogs.com/guoyaohua/p/9436237.html

文章标签：

#数据结构与算法 #人工智能

本文介绍了SVM中的Hinge Loss，作为经验风险最小化的一部分，用于衡量模型预测的优劣。在二分类问题中，Hinge Loss通过最大化间隔来找到最优分离超平面，损失函数为$max(0, 1 - y_i(w cdot x_i + b))$。在多分类问题中，损失函数变为$sum_{j e y_i} max(0, s_j - s_{y_i} + 1)$。SVM通过最小化Hinge Loss和正则化项来寻找最佳分类器。" 86093922,2077159,MacPorts安装指南：解决安装难题与配置源,"['Mac开发', '软件安装', '系统配置']

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Hinge Loss 解释

　　SVM 求解使通过建立二次规划原始问题，引入拉格朗日乘子法，然后转换成对偶的形式去求解，这是一种理论非常充实的解法。这里换一种角度来思考，在机器学习领域，一般的做法是经验风险最小化 ERM ，即构建假设函数为输入输出间的映射，然后采用损失函数来衡量模型的优劣。求得使损失最小化的模型即为最优的假设函数，采用不同的损失函数也会得到不同的机器学习算法，比如这里的主题 SVM 采用的是 Hinge Loss ，Logistic Regression 采用的则是负 $\log$ 损失，

\[L(Y,P(Y|X)) = - \log P(Y|X)\]

　　从二项分布的角度来考虑 Logistic 回归：

\begin{aligned}
P(Y=1|X) &= \frac{1}{1 + e^{- \theta x}}\\
P(Y=0|X) &= 1- P(Y=1|X)
\end{aligned}

　　这里另 $z = \theta^Tx$ , $\delta$ 为 sigmod 映射，则： <