LR和SVM

博客对比了使用线性核的SVM和带L2正则的LR。从目标函数形式看二者等价,但在处理问题能力、计算复杂度、特征处理要求及样本不均衡情况适用性等方面存在差异。如LR只能处理线性分类,SVM可处理非线性问题但计算复杂。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

从目标函数的形式上看,使用线性核的SVM和带L2正则的LR是等价的,考虑

LR的目标函数

$$J_{LR}=-\frac{1}{m} \sum_{i=1}^{N} y_ilog(\frac{1}{1 + e^{-z_i}}) + (1 - y_i)log(1 - \frac{1}{1 + e^{-z_i}}) + \frac{\lambda}{2m}||w||^2$$

SVM的目标函数

$$J_{SVM} = C\sum_{i = 1}^{N} y_icost_1(z_i) + (1 - y_i)cost_0(z_i) + \frac{1}{2}||w||^2$$

其中\(cost_1(z)\)和\(cost_0(z)\)的图像如下

而\(-log(\frac{1}{1 + e^{-z_i}})\)和\(-log(1 - \frac{1}{1 + e^{-z_i}})\)的图像如下

LR如果不对特征进行处理只能处理线性分类问题,SVM可以通过引入核函数来处理非线性问题,SVM由于要计算核函数的值和存储核矩阵,因此具有较高的计算复杂度,在样本数目较多的时候不适用,在处理非线性分类的问题上,在训练时,SVM一定要对特征进行归一化处理,否则几何间隔对取值变化范围小的特征不敏感从而影响分类效果,而归一化一般情况下只会影响LR了收敛速度而对其分类效果不会有太大影响,在样本不均衡的情况下,如果样本数目不太多的情况下,使用SVM较适合,因为决策边界在SVM中只与支持向量相关而在LR中与所有的样本都相关。

LR(逻辑回归)SVM(支持向量机)都是常见的机器学习算法,可以用于特征建模分类任务。在使用LRSVM对特征进行建模并采用五折验证法时,可以按照以下步骤进行: 1. 特征提取:根据问题的需求,从原始数据中提取出适合建模的特征。这可以包括数值特征、文本特征、图像特征等。 2. 特征预处理:对提取出的特征进行预处理,包括缺失值处理、标准化、归一化等。确保特征在相同的尺度上。 3. 数据划分:将数据集划分为训练集测试集。通常采用五折交叉验证,将数据集分成五个子集,每次使用四个子集作为训练集,剩余的一个子集作为测试集。 4. 特征建模:对每个训练集进行LRSVM模型的训练。LR是一种广义线性模型,可以用于二分类或多分类任务;SVM是一种非线性分类器,可以通过选择不同的核函数进行分类。 5. 模型评估:使用训练好的模型对测试集进行预测,并计算预测结果与真实标签之间的准确率、精确率、召回率、F1值等指标。 6. 重复步骤4步骤5,直到每个子集都作为测试集进行了一次。最后,将各次模型评估的指标求平均值,得到最终的模型性能评估结果。 通过以上步骤,可以使用LRSVM对特征进行建模,并采用五折验证法来评估模型的性能。这样可以减小模型对特定数据集的过拟合情况,并提供对模型性能的更准确评估。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值