本文介绍了加权kNN算法，重点讲述了使用反函数和高斯函数作为权重的方法。反函数简单地将距离的倒数作为权重，而高斯函数则提供了一种平滑的权重衰减方式，减少了算法对噪声数据的敏感性。加权kNN在处理数值型数据时采用加权平均来提高预测准确性，但其效率较低。
加权kNN
上篇文章中提到为每个点的距离增加一个权重，使得距离近的点可以得到更大的权重，在此描述如何加权。
反函数
该方法最简单的形式是返回距离的倒数，比如距离d，权重1/d。有时候，完全一样或非常接近的商品权重会很大甚至无穷大。基于这样的原因，在距离求倒数时，在距离上加一个常量：
weight = 1 / (distance + const)
这种方法的潜在问题是，它为近邻分配很大的权重，稍远一点的会衰减的很快。虽然这种情况是我们希望的，但有时候也会使算法对噪声数据变得更加敏感。
高斯函数
高斯函数比较复杂，但克服了前述函数的缺点，其形式：
其中a,b,c∈R
高斯函数的图形在形状上像一个倒悬着的钟。a是曲线的高度，b是曲线中心线在x轴的偏移，c是半峰宽度
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
