12、机器学习中的距离度量建模与交叉验证

机器学习中的距离度量建模与交叉验证

1. 距离度量建模

在机器学习中，距离度量在许多模型和算法中都有着重要的应用。例如，高斯分布与 k-means 聚类之间存在着基本的联系。我们可以基于质心和样本协方差矩阵创建一个经验高斯分布，并查看每个点的概率。这表明我们实际上移除了可能性最小的值。距离和可能性之间的这种关系在机器学习训练中非常重要。以下是创建经验高斯分布的代码：

from scipy import stats
emp_dist = stats.multivariate_normal(kmeans.cluster_centers_.ravel())
lowest_prob_idx = np.argsort(emp_dist.pdf(X))[:5]
np.all(X[sorted_idx] == X[lowest_prob_idx])
True

1.1 使用 KNN 进行回归

回归在机器学习中是一个重要的任务。我们可以在特征空间的局部区域进行回归。以鸢尾花数据集为例，我们尝试根据萼片的长度和宽度来预测花瓣的长度。
- 步骤 1：加载数据集

import numpy as np
from sklearn import datasets
iris = datasets.load_iris()
iris.feature_names

• 步骤 2：准备数据并拟合线性回归模型