sklearn.linear_model——LogisticRegression调参小结

最新推荐文章于 2023-03-10 14:06:54 发布

原创

最新推荐文章于 2023-03-10 14:06:54 发布 · 2.8w 阅读

33 ·

CC 4.0 BY-SA版权

本文总结了sklearn.linear_model.LogisticRegression的使用，重点介绍了penalty、solver和multi_class等参数，以及它们对模型的影响。在解决过拟合时，通常选择L2正则化；L1正则化能实现模型系数稀疏化。对于优化方法，liblinear适用于L1和L2正则化，而newton-cg、lbfgs和sag仅适用于L2。multi_class选项中，'ovr'用于一对一策略，'multinomial'则采用交叉熵损失。

ref：
官方文档：
http://scikit-learn.org/stable/modules/generated/sklearn.linear_model.LogisticRegression.html
http://blog.youkuaiyun.com/sun_shengyun/article/details/53811483
未完待续……

from sklearn.linear_model import LogisticRegression

数据标准化处理：
from sklearn.preprocessing import StandardScaler
X = preprocessing.StandardScaler().fit_transform(X)

用法：
LogisticRegression(penalty=’l2’, dual=False, tol=0.0001, C=1.0, fit_intercept=True, intercept_scaling=1, class_weight=None, random_state=None, solver=’liblinear’, max_iter=100, multi_class=’ovr’, verbose=0, warm_start=False, n_jobs=1)

参数介绍
penalty惩罚项
str, ‘l1’ or ‘l2’,
默认: ‘l2’
注：在调参时如果我们主要的目的只是为了解决过拟合，一般penalty选择L2正则化就够了。但是如果选择L2正则化发现还是过拟合，