27、数据挖掘与推荐系统技术解析

数据挖掘与推荐系统技术解析

1. 马氏距离与维度诅咒

在数据分析中，马氏距离是一种常用的度量方法。通过代码使用 incanter.stats 提供的函数可以绘制同一组点之间的马氏距离。从绘制的图表中，能清晰地看到有一个点与其他点的距离明显更远，这与我们的直观认知相符。

然而，马氏距离也面临一个无法克服的问题，即维度诅咒。随着数据集维度的增加，数据集中的每个点之间的距离会趋于相等。以下代码可以简单地演示这一现象：

(defn ex-6-27 []
  (let [distances (for [d (range 2 100)
                        :let [data (->> (dataset-of-dimension d)
                                        (s/mahalanobis-distance)
                                        (map first))]]
                    [(apply min data) (apply max data)])]
    (-> (c/xy-plot (range 2 101) (map first distances)
                   :x-label "Number of Dimensions"
                   :y-label "Distance Between Points"
                   :series-l