Python入门教程：使用计算评估模型准确性的方法

Python入门教程：使用计算评估模型准确性的方法

c9-python-getting-started Sample code for Channel 9 Python for Beginners course 项目地址: https://gitcode.com/gh_mirrors/c9/c9-python-getting-started

模型评估的重要性

在机器学习项目中，训练模型只是第一步。了解模型的准确性对于判断模型是否可靠至关重要。一个准确的模型能够提供可信的预测结果，而评估不准确的模型可能导致错误的决策。

准备工作

首先，我们需要重建一个线性回归模型作为评估对象。这个模型使用航班数据，预测航班到达延误时间（ARR_DELAY），基于飞行距离（DISTANCE）和计划飞行时间（CRS_ELAPSED_TIME）两个特征。

import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LinearRegression

# 加载并预处理数据
delays_df = pd.read_csv('Data/Lots_of_flight_data.csv')
delays_df.dropna(inplace=True)

# 准备特征和标签
X = delays_df.loc[:,['DISTANCE', 'CRS_ELAPSED_TIME']]
y = delays_df.loc[:,['ARR_DELAY']]

# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(
    X, 
    y, 
    test_size=0.3, 
    random_state=42
)

# 训练模型
regressor = LinearRegression()
regressor.fit(X_train, y_train)
y_pred = regressor.predict(X_test)

常用评估指标详解

1. 均方误差（Mean Squared Error, MSE）

MSE是最常用的回归模型评估指标之一。它计算预测值与实际值之间差异的平方的平均值。

特点：

• 对较大的误差给予更高的惩罚（因为误差被平方）
• 值越小表示模型越好
• 单位是目标变量的平方

from sklearn import metrics
print('Mean Squared Error:', metrics.mean_squared_error(y_test, y_pred))

2. 均方根误差（Root Mean Squared Error, RMSE）

RMSE是MSE的平方根，它将误差恢复到与目标变量相同的单位，更易于解释。

特点：

• 与MSE相比，更接近实际误差大小
• 对异常值仍然敏感
• 值越小表示模型越好

import numpy as np
print('Root Mean Squared Error:', np.sqrt(metrics.mean_squared_error(y_test, y_pred)))

3. 平均绝对误差（Mean Absolute Error, MAE）

MAE计算预测值与实际值之间绝对差异的平均值。

特点：

• 不像MSE/RMSE那样对大的误差给予过高的惩罚
• 对异常值不敏感
• 解释更直观
• 值越小表示模型越好

print('Mean absolute error: ',metrics.mean_absolute_error(y_test, y_pred))

4. R平方（R-Squared, R²）

R²衡量模型解释目标变量方差的比例，表示特征对预测结果的影响程度。

特点：

• 取值范围在0到1之间
• 1表示完美拟合
• 0表示模型不比简单取平均值好
• 值越大表示模型越好

print('R^2: ',metrics.r2_score(y_test, y_pred))

如何选择评估指标

1. 关注误差单位：如果需要误差与目标变量单位一致，选择RMSE或MAE
2. 异常值影响：如果数据中有许多异常值，MAE可能比RMSE更合适
3. 模型比较：R²特别适合比较不同模型在相同数据上的表现
4. 业务需求：根据实际业务需求选择最相关的指标

实际应用建议

1. 不要只依赖单一指标，综合多个指标评估模型
2. 在业务背景下解释指标值，了解"好"的标准是什么
3. 对于这个航班延误预测模型，RMSE为47.43（假设原始数据单位是分钟），意味着平均预测误差约为47分钟
4. R²值可以帮助理解模型解释了多少延误时间的变异

通过全面评估这些指标，你可以更准确地了解模型的性能，并决定是否需要改进模型或调整特征。

c9-python-getting-started Sample code for Channel 9 Python for Beginners course 项目地址: https://gitcode.com/gh_mirrors/c9/c9-python-getting-started