6、机器学习模型评估与集成：欺诈检测案例分析

机器学习模型评估与集成：欺诈检测案例分析

1. 评估指标：ROC曲线下面积（auROC）

在机器学习模型评估中，接收者操作特征曲线下面积（auROC）是一个重要的评估指标。ROC曲线以真阳性率（TPR）为纵轴，假阳性率（FPR）为横轴。真阳性率也称为灵敏度，假阳性率可表示为 1 - 特异度。曲线越靠近图的左上角，模型性能越好，绝对最优值为 (0.0, 1.0)，意味着 0% 的假阳性率和 100% 的真阳性率。

为了评估模型，我们可以计算 ROC 曲线下的面积。auROC 值越大，模型性能越好。

2. 逻辑回归模型评估

我们使用精度 - 召回率曲线和 auROC 来评估逻辑回归模型的结果。

2.1 绘制精度 - 召回率曲线并计算平均精度

import pandas as pd
from sklearn.metrics import precision_recall_curve, average_precision_score
import matplotlib.pyplot as plt

# 合并真实标签和预测概率
preds = pd.concat([y_train, predictionsBasedOnKFolds.loc[:, 1]], axis=1)
preds.columns = ['trueLabel', 'prediction']
predictionsBasedOnKFoldsLogisticRegression = preds.copy()

# 计算精度、召回率和阈值
precision, recall, thresholds =