【机器学习】模型调参

在机器学习模型中，调参（超参数调优）是优化模型性能的重要步骤。对于逻辑回归模型（LogisticRegression），以下是一些常见的可调参数及其作用：

1. 逻辑回归的可调参数

以下是 scikit-learn 中 LogisticRegression 的主要可调参数：

1.1 penalty（正则化类型）

• 作用：指定正则化类型，用于防止过拟合。

• 可选值：

  • 'l1'：L1 正则化（Lasso 回归）。

  • 'l2'：L2 正则化（Ridge 回归，默认值）。

  • 'elasticnet'：L1 和 L2 正则化的组合。

  • 'none'：不使用正则化。

• 示例：

  model = LogisticRegression(penalty='l2')

1.2 C（正则化强度）

• 作用：控制正则化的强度。C 越小，正则化越强。

• 取值范围：正浮点数，默认值为 1.0。

• 示例：

  model = LogisticRegression(C=0.1)

1.3 solver（优化算法）

• 作用：指定用于优化问题的算法。

• 可选值：

  • 'newton-cg'：适用于 L2 正则化。

  • 'lbfgs'：适用于 L2 正则化（默认值）。

  • 'liblinear'：适用于小数据集，支持 L1 和 L2 正则化。

  • 'sag'：随机平均梯度下降，适用于大数据集。

  • 'saga'：sag 的改进版本，支持 L1 和 L2 正则化。

• 示例：

  model = LogisticRegression(solver='liblinear')

1.4 max_iter（最大迭代次数）

• 作用：指定优化算法的最大迭代次数。

• 取值范围：正整数，默认值为 100。

• 示例：

  model = LogisticRegression(max_iter=200)

1.5 class_weight（类别权重）

• 作用：处理类别不平衡问题。可以为每个类别指定权重，或者使用 'balanced' 自动调整权重。

• 可选值：

  • None：所有类别的权重相等（默认值）。

  • 'balanced'：根据类别频率自动调整权重。

  • 字典：手动指定每个类别的权重，例如 {0: 1, 1: 2}。

• 示例：

  model = LogisticRegression(class_weight='balanced')

1.6 multi_class（多分类策略）

• 作用：指定多分类问题的处理策略。

• 可选值：

  • 'ovr'：一对多策略（默认值）。

  • 'multinomial'：多项逻辑回归。

• 示例：

  model = LogisticRegression(multi_class='multinomial')

1.7 tol（收敛阈值）

• 作用：指定优化算法的收敛阈值。当损失函数的变化小于该值时，停止迭代。

• 取值范围：正浮点数，默认值为 1e-4。

• 示例：

  model = LogisticRegression(tol=1e-5)

1.8 fit_intercept（是否拟合截距）

• 作用：指定是否拟合截距项。

• 可选值：

  • True：拟合截距（默认值）。

  • False：不拟合截距。

• 示例：

  model = LogisticRegression(fit_intercept=False)

---

2. 调参方法

在实际应用中，可以使用以下方法对逻辑回归模型的参数进行调优：

2.1 网格搜索（Grid Search）

网格搜索是一种穷举搜索方法，遍历所有可能的参数组合，找到最优参数。

from sklearn.model_selection import GridSearchCV

# 定义参数网格
param_grid = {
    'penalty': ['l1', 'l2'],
    'C': [0.01, 0.1, 1, 10, 100],
    'solver': ['liblinear', 'lbfgs'],
    'max_iter': [100, 200, 300]
}

# 创建网格搜索对象
grid_search = GridSearchCV(LogisticRegression(), param_grid, cv=5, scoring='accuracy')

# 在训练数据上进行网格搜索
grid_search.fit(X_train_scaled, y_train)

# 输出最优参数
print("Best Parameters:", grid_search.best_params_)

# 使用最优参数训练模型
best_model = grid_search.best_estimator_

2.2 随机搜索（Random Search）

随机搜索从参数分布中随机采样，适用于参数空间较大的情况。

from sklearn.model_selection import RandomizedSearchCV
from scipy.stats import uniform

# 定义参数分布
param_dist = {
    'C': uniform(loc=0, scale=4),  # C 在 [0, 4] 范围内均匀分布
    'penalty': ['l1', 'l2'],
    'solver': ['liblinear', 'lbfgs']
}

# 创建随机搜索对象
random_search = RandomizedSearchCV(LogisticRegression(), param_dist, n_iter=10, cv=5, scoring='accuracy')

# 在训练数据上进行随机搜索
random_search.fit(X_train_scaled, y_train)

# 输出最优参数
print("Best Parameters:", random_search.best_params_)

# 使用最优参数训练模型
best_model = random_search.best_estimator_

2.3 贝叶斯优化（Bayesian Optimization）

贝叶斯优化是一种更高效的调参方法，适用于高维参数空间。

from skopt import BayesSearchCV

# 定义参数搜索空间
param_bayes = {
    'C': (0.01, 100.0, 'log-uniform'),  # C 在 [0.01, 100] 范围内对数均匀分布
    'penalty': ['l1', 'l2'],
    'solver': ['liblinear', 'lbfgs']
}

# 创建贝叶斯优化对象
bayes_search = BayesSearchCV(LogisticRegression(), param_bayes, n_iter=10, cv=5, scoring='accuracy')

# 在训练数据上进行贝叶斯优化
bayes_search.fit(X_train_scaled, y_train)

# 输出最优参数
print("Best Parameters:", bayes_search.best_params_)

# 使用最优参数训练模型
best_model = bayes_search.best_estimator_

---

3. 总结

逻辑回归模型的调参主要包括以下参数：

• penalty：正则化类型。

• C：正则化强度。

• solver：优化算法。

• max_iter：最大迭代次数。

• class_weight：类别权重。

• multi_class：多分类策略。

• tol：收敛阈值。

• fit_intercept：是否拟合截距。

常用的调参方法包括网格搜索、随机搜索和贝叶斯优化。通过调参，可以显著提升模型的性能。