10、机器学习基础：从房价预测到模型评估

机器学习基础：从房价预测到模型评估

1. 房价预测：回归示例

在房价预测这个回归问题中，我们使用均方误差（MSE）作为损失函数，它是预测值与目标值之差的平方。这是回归问题中广泛使用的损失函数。同时，我们在训练过程中还会监测平均绝对误差（MAE），它是预测值与目标值之差的绝对值。例如，在此问题中 MAE 为 0.5 意味着预测平均偏差 500 美元。

1.1 K 折交叉验证

当调整模型参数（如训练轮数）时，若将数据简单划分为训练集和验证集，由于数据点较少，验证集可能会非常小，导致验证分数因所选验证和训练数据点的不同而有很大变化，即验证分数的方差较高，从而无法可靠地评估模型。

K 折交叉验证是解决此问题的最佳实践。它将可用数据划分为 K 个分区（通常 K = 4 或 5），实例化 K 个相同的模型，每个模型在 K - 1 个分区上训练，并在剩余的一个分区上评估。模型的验证分数是 K 个验证分数的平均值。以下是代码示例：

import numpy as np
k = 4
num_val_samples = len(train_data) // k
num_epochs = 100
all_scores = []

for i in range(k):
    print('processing fold #', i)
    val_data = train_data[i * num_val_samples: (i + 1) * num_val_samples]
    val_targets = train_targets[i * num_val_samples: (i + 1)