从零开始：用Python实现监督式机器学习回归模型

从零开始：用Python实现监督式机器学习回归模型

摘要

本文通过冰淇淋销售预测示例，详细讲解了监督式机器学习模型的训练过程，包括数据准备、模型选择、训练、评估和应用等关键步骤，并提供了完整的Python代码实现。

---

监督式机器学习模型训练的关键步骤

在监督式机器学习中，模型训练过程可以分为以下四个关键步骤：

1. 数据准备

• 拆分数据集：将数据随机分为训练集和测试集，通常比例为80%训练数据和20%测试数据。
• 特征选择：选择与目标变量相关的特征，减少无关特征对模型的影响。

2. 模型选择与训练

• 选择算法：根据问题类型选择合适的算法（如线性回归、决策树等）。
• 拟合模型：使用训练数据拟合模型，找到最佳参数。

3. 模型评估

• 预测验证：使用测试集对模型进行预测。
• 计算指标：通过均方误差(MSE)、R²分数等指标评估模型性能。

4. 迭代优化

• 调整参数：通过调整超参数优化模型性能。
• 特征工程：改进特征选择和处理方式，提高模型准确性。

---

实战示例：冰淇淋销售预测

问题描述

我们希望通过温度数据预测冰淇淋的销售量。温度是特征(X)，销售量是标签(y)。

代码实现

1. 导入必要的库

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LinearRegression
from sklearn.metrics import mean_squared_error, r2_score

2. 准备数据

# 创建数据字典
data = {
    '温度 (x)': [51, 52, 67, 65, 70, 69, 72, 75, 73, 81, 78, 83],
    '冰淇淋销售额 (y)': [1, 0, 14, 14, 23, 20, 23, 26, 22, 30, 26, 36]
}

# 转换为DataFrame
df = pd.DataFrame(data)

# 特征和标签
X = df[['温度 (x)']]  # 特征
y = df['冰淇淋销售额 (y)']  # 标签

3. 数据可视化

plt.figure(figsize=(10, 6))
plt.scatter(X, y, color='blue')
plt.title('冰淇淋销售额与温度的关系')
plt.xlabel('温度 (x)')
plt.ylabel('冰淇淋销售额 (y)')
plt.grid(True)
plt.show()

4. 数据集划分

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

5. 模型训练

model = LinearRegression()
model.fit(X_train, y_train)

6. 模型预测

y_pred = model.predict(X_test)

7. 模型评估

mse = mean_squared_error(y_test, y_pred)
r2 = r2_score(y_test, y_pred)

print(f"均方误差 (MSE): {mse:.2f}")
print(f"R²分数: {r2:.2f}")

8. 可视化结果

plt.figure(figsize=(10, 6))
plt.scatter(X_train, y_train, color='blue', label='训练数据')
plt.scatter(X_test, y_test, color='green', label='测试数据')
plt.plot(X, model.predict(X), color='red', linewidth=2, label='回归线')
plt.title('冰淇淋销售额与温度的关系')
plt.xlabel('温度 (x)')
plt.ylabel('冰淇淋销售额 (y)')
plt.legend()
plt.grid(True)
plt.show()

9. 模型应用

temperature = 75
predicted_sales = model.predict([[temperature]])
print(f"当温度为 {temperature}°C 时，预测的冰淇淋销售额为 {predicted_sales[0]:.2f} 个")

---

回归模型评估指标

1. 平均绝对误差 (MAE)

MAE衡量预测值与实际值之间的平均绝对差异：
[ \text{MAE} = \frac{1}{n} \sum_{i=1}^n |y_i - \hat{y}_i| ]

2. 均方误差 (MSE)

MSE对预测误差进行平方后求平均，放大了大误差的影响：
[ \text{MSE} = \frac{1}{n} \sum_{i=1}^n (y_i - \hat{y}_i)^2 ]

3. 均方根误差 (RMSE)

RMSE是MSE的平方根，单位与目标变量一致：
[ \text{RMSE} = \sqrt{\text{MSE}} ]

4. 决定系数 (R²)

R²衡量模型解释的方差比例，值越接近1表示模型越好：
[ R^2 = 1 - \frac{\sum (y_i - \hat{y}_i)^2}{\sum (y_i - \bar{y})^2} ]

---

迭代训练与优化

1. 特征选择：选择对目标变量影响最大的特征。
2. 算法选择：尝试不同的回归算法（如岭回归、LASSO等）。
3. 超参数调整：通过网格搜索等方法优化模型参数。
4. 重复评估：多次训练和测试，选择最佳模型。

---

总结

通过本文的冰淇淋销售预测示例，我们完整地展示了监督式机器学习模型的训练过程。从数据准备到模型评估，每一步都至关重要。实际应用中，可以通过迭代优化不断改进模型性能，最终得到满足业务需求的预测模型。