机器学习中的密度估计与聚类方法
在机器学习领域,密度估计和基于密度的聚类是两个重要的概念,它们在数据挖掘、模式识别等诸多领域都有广泛的应用。下面将详细介绍这两个概念以及相关的算法。
密度估计
密度估计旨在根据一组观测值 $x_1, \cdots, x_N$(这是来自概率密度函数 $f_X(x)$ 的随机样本),用 $\hat{f}_X(x_0)$ 来近似 $f_X(x)$。
一种简单的估计概率密度函数的方法是绘制直方图。通常,会将数据值的范围细分为等大小的区间或箱。直方图对函数的估计效果取决于箱的宽度和箱边界的位置。为了改进这一点,可以修改直方图,以每个点为中心的邻域来进行估计。根据 Hastie 等人(2009)的方法,估计可以表示为:
[
\hat{f}_X(x_0) = \frac{#{x_i \in N(x_0)}}{N\delta}
]
其中,$x_1, \cdots, x_N$ 是从概率密度函数 $f_X(x)$ 中抽取的随机样本,$\hat{f}_X(x_0)$ 是 $f_X$ 在点 $x_0$ 处的估计值,$N(x_0)$ 是以 $x_0$ 为中心、宽度为 $\delta$ 的邻域。这个估计值是落在 $x_0$ 邻域内的值的归一化计数。
然而,上述估计结果仍然像直方图一样不平滑。使用核函数可以得到更平滑的近似。样本中的每个 $x_i$ 都与一个核函数(通常是高斯核函数)相关联。公式(1)中的计数被应用于 $x_0$ 邻域内点的核函数之和所取代:
[
\hat{f} X(x_0) = \frac{1}{N\delta} \sum {i=1}^{N} K_{\delt
订阅专栏 解锁全文
337



被折叠的 条评论
为什么被折叠?



