sklearn机器学习:逻辑回归LogisticRegression参数解析之penalty & C

Zen of Data Analysis

于 2019-10-14 14:05:27 发布

阅读量1.9w

点赞数 19

CC 4.0 BY-SA版权

分类专栏：机器学习算法 Python 文章标签：机器学习算法 python 损失函数正则化惩罚项

本文链接：https://blog.youkuaiyun.com/gracejpw/article/details/102542510

本文介绍了sklearn的LogisticRegression模型中，正则化参数penalty（L1或L2）和C的含义及作用。C是正则化强度的倒数，控制模型对损失函数的惩罚程度。L1正则化导致参数稀疏，适用于特征选择；L2正则化则让所有特征都有小的贡献，防止过拟合。选择合适的C值可以通过学习曲线来确定。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

LogisticRegression类的格式

sklearn.linear_model.LogisticRegression (penalty=’l2’, dual=False, tol=0.0001, C=1.0, fit_intercept=True, intercept_scaling=1, class_weight=None, random_state=None, solver=’warn’, max_iter=100, multi_class=’warn’, verbose=0, warm_start=False, n_jobs=None)

重要参数penalty & C

正则化是用来防止模型过拟合的过程，常用的有L1正则化和L2正则化两种选项，分别通过在损失函数后加上参数ω向量的L1范式和L2范式的倍数来实现。这个增加的范式，被称为“正则项”，也被称为"惩罚项"。
损失函数改变，基于损失函数的最优化来求解的参数取值必然改变，以此来调节模型拟合的程度。其中L1范式表现为参数向量中的每个参数的绝对值之和，L2范数表现为参数向量中的每个参数的平方和的开方值。
$J(ω)L1=C∗J(ω)+∑j=1n∣ωj∣(j≥1)J(\omega)_{L1}=C*J(\omega)+\sum_{j=1}^n|\omega_j|\quad (j\ge1)$
$J(ω)L2=C∗J(ω)+∑j=1n∣ωj∣2(j≥1)J(\omega)_{L2}=C*J(\omega)+\sqrt{\sum_{j=1}^n|\omega_j|^2}\quad (j\ge1)$