[机器学习]04-逻辑回归（python）-03-API与癌症分类案例讲解

逻辑回归（Logistic Regression） 的一API 介绍

关于如何配置模型中的优化器、正则化和惩罚项。

1. 逻辑回归 API

在 Scikit-learn 中，逻辑回归可以通过如下方式定义：

from sklearn.linear_model import LogisticRegression
​
model = LogisticRegression(solver='liblinear', penalty='l2', C=1.0)

solver：这是用于优化损失函数的算法（或求解器），因为我们需要根据给定的数据去寻找模型参数，所以这个求解器决定了使用哪种算法去最小化损失函数。

penalty：这是正则化的类型，可以选择 'l1' 或 'l2'，它是为了防止模型过拟合。

C：这是正则化的强度参数，值越小正则化越强，默认是 1.0。

2. solver（求解器）介绍

solver 是用于最小化损失函数的算法选项，在不同的数据规模和正则化条件下，选择合适的求解器会影响计算效率和结果。

liblinear：这个求解器适合 小数据集，速度更快。它采用 坐标下降法，可以用于 L1 和 L2 正则化。因为它的计算复杂度较低，所以在小数据集上的表现很好.

sag、saga：这两个求解器适合 大数据集，它们使用的是 随机梯度下降法（Stochastic Average Gradient Descent），这种方法可以在处理大量数据时表现得更高效。

• sag 和 saga 支持 L2 正则化，或者也可以不使用正则化。
• saga 支持 L1 和 L2 正则化，所以它更灵活，特别适合处理稀疏数据集（很多 0 值的数据）。

3. 正则化

正则化（penalty） 是用于防止模型 过拟合 的一种技术。过拟合意味着模型在训练集上表现很好，但在测试集上表现不佳，正则化的作用就是让模型在训练时不过于依赖训练数据。

• L1 正则化：又称为 Lasso 正则化，它会让某些权重变为 0，从而达到特征选择的效果。它适合处理有很多不相关特征的数据集，因为它会自动选择出相关特征，忽略掉不相关的特征。