本文介绍了SVM（支持向量机）和sigmoid函数在解决分类问题中的作用。通过sigmoid函数实现线性分类，并利用梯度下降或随机梯度下降优化代价函数。当面临线性不可分数据时，SVM采用核函数技巧，寻找最优超平面，最大化间隔。文章阐述了SVM的基本型，优化目标从非凸函数转换为标准型，确保了优化的可行性。
为了解决符号函数面对分类问题时的解不唯一、受离群点影响大的问题，我们就想用一种新的方法来对数据分类。为此，我们使用一个新的将数据分开的函数——sigmoid函数。
h ω , b ( x ) = 1 1 + e − ( ω x + b ) h_{\omega,b}(x)=\frac{1}{1+e^{-(\omega x+b)}} hω,b(x)=1+e−(ωx+b)1它的图像大概是这样的( ω = 1 , b = 0 \omega=1,b=0 ω=1,b=0)
对于这样一个函数，当函数值大于0.5时，我们就将其划分至有1的特征的这一类，当函数值小于等于0.5时，我们就将其划分至有0的特征的这一类。
和之前一样，我们可以为训练集的输入变量增加一组特征1，就可以将 b b b作为 ω \omega ω中的一个分量进行处理
接下来就是针对这一分类方法找到一个凸的代价函数(证明见这里)
J ( θ ) = − 1 m ∑ i = 1 m ( y ( i ) l n h ω ( x ( i ) ) + ( 1 − y ( i ) ) l n ( 1 − h ω ( x ( i ) ) ) J(\theta)=-\frac{1}{m}\sum_{i=1}^m(y^{(i)}lnh_{\omega}(x^{(i)})+(1-y^{(i)})ln(1-h_{\omega}(x^{(i)})) J(θ)=−m1i=1∑m(y(i)lnh
最低0.47元/天 解锁文章
扫一扫
12-05
620
620
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
