机器学习 (五): 模型评估

最新推荐文章于 2021-05-06 10:11:48 发布

原创

最新推荐文章于 2021-05-06 10:11:48 发布 · 507 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#模型评估 #机器学习 #ROC #混淆矩阵

本文探讨了机器学习中的模型评估方法，包括交叉验证以确保模型泛化能力，介绍了如何建立数值型和分类型基线模型，进一步解析了ROC曲线在评估二分类模型中的作用，以及通过混淆矩阵来理解模型预测的准确性和错误类型。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

机器学习模型评估

交叉验证
Baseline 模型
- 数值型baseline
- 分类型baseline
ROC 曲线
Confusion Matrix

交叉验证

from sklearn.preprocessing import StandardScaler
from sklearn.pipeline import make_pipeline
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import KFold, cross_val_score
from sklearn.datasets import load_digits

# 加载数据 (手写数字图像)
digits = load_digits()
features = digits.data
target = digits.target

# 创建一个流水线, 流水线由
#	将输入特征变换为0均值,1方差的缩放器
#	逻辑回归模型
# 组成
pipeline = make_pipeline(StandardScaler(), LogisticRegression())

# 交叉验证, Fold=10
cv_res = cross_val_score(pipeline, features, target, cv=KFold(10, shuffle=True, random_state=1), scoring='accuracy', n_jobs=-1)
print(cv_res.mean())

Baseline 模型

数值型baseline

from sklearn.datasets import load_boston
from sklearn.linear_model import LinearRegression
from sklearn.preprocessing import train_test_split
from sklearn.dummy import DummyRegressor
from sklearn.model_selection import train_test_split

# 加载数据
boston = load_boston()
features, target = boston.<