sklearn机器学习:逻辑回归LogisticRegression参数解析之penalty & C

本文介绍了sklearn的LogisticRegression模型中,正则化参数penalty(L1或L2)和C的含义及作用。C是正则化强度的倒数,控制模型对损失函数的惩罚程度。L1正则化导致参数稀疏,适用于特征选择;L2正则化则让所有特征都有小的贡献,防止过拟合。选择合适的C值可以通过学习曲线来确定。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

LogisticRegression类的格式

sklearn.linear_model.LogisticRegression (penalty=’l2’, dual=False, tol=0.0001, C=1.0, fit_intercept=True, intercept_scaling=1, class_weight=None, random_state=None, solver=’warn’, max_iter=100, multi_class=’warn’, verbose=0, warm_start=False, n_jobs=None)

重要参数penalty & C

正则化是用来防止模型过拟合的过程,常用的有L1正则化和L2正则化两种选项,分别通过在损失函数后加上参数ω向量的L1范式和L2范式的倍数来实现。这个增加的范式,被称为“正则项”,也被称为"惩罚项"
损失函数改变,基于损失函数的最优化来求解的参数取值必然改变,以此来调节模型拟合的程度。其中L1范式表现为参数向量中的每个参数的绝对值之和,L2范数表现为参数向量中的每个参数的平方和的开方值。
J(ω)L1=C∗J(ω)+∑j=1n∣ωj∣(j≥1)J(\omega)_{L1}=C*J(\omega)+\sum_{j=1}^n|\omega_j|\quad (j\ge1)J(ω)L1=CJ(ω)+j=1nωj(j1)
J(ω)L2=C∗J(ω)+∑j=1n∣ωj∣2(j≥1)J(\omega)_{L2}=C*J(\omega)+\sqrt{\sum_{j=1}^n|\omega_j|^2}\quad (j\ge1)J(ω)L2=CJ(ω)+j=1

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值