12、距离度量建模与交叉验证：提升机器学习模型性能

距离度量建模与交叉验证：提升机器学习模型性能

1. 基于距离度量构建模型

1.1 高斯分布与 k - means 聚类的联系

高斯分布和 k - means 聚类之间存在着基本联系。可以基于质心和样本协方差矩阵创建一个经验高斯分布，查看每个点的概率，理论上就是查看我们移除的五个点的概率。这表明我们实际上移除了可能性最小的值。距离和可能性之间的这种关系在机器学习训练中非常重要，会经常出现。创建经验高斯分布的代码如下：

from scipy import stats
emp_dist = stats.multivariate_normal(kmeans.cluster_centers_.ravel())
lowest_prob_idx = np.argsort(emp_dist.pdf(X))[:5]
np.all(X[sorted_idx] == X[lowest_prob_idx])
True

1.2 使用 KNN 进行回归

回归在机器学习中很重要，当我们认为数据集受多个数据过程影响时，仅在相似的数据点上进行训练是个好主意。由于回归是有监督技术，这里使用 K - 近邻（KNN）聚类而非 k - means 进行回归。KNN 回归会使用特征空间中 K 个最近的点来构建回归，而不是像常规回归那样使用整个空间。

操作步骤：

1. 加载数据集 ：使用鸢尾花数据集，尝试根据萼片长度和宽度预测花瓣长度，同时拟合一个常规线性回归进行对比。