最近邻模型 待更新

k近邻和半径近邻(近邻)

思想：它们都能做分类和回归。无论分类还是回归，基本思想是一样的，一种是根据距离它最近的k个样本点进行预测，一般有投票法、平均法、加权平均、加权投票。另一种是指定半径，根据半径内的样本点进行预测，同样的也有投票法、平均法、加权平均、加权投票。其中投票法和加权投票法是用在分类任务中的，平均法和加权平均法是用在回归任务中的。我将上面的这两种近邻分别称作k近邻和半径近邻。注意加权平均法在乘完权重然后求和后要除以权重的和。可以认为投票法是加权投票法的特例，平均法是加权平均法的特例。

核心内容：kd树、球树、各种距离、留一法交叉验证(选k值时用的方法)

涉及的知识：kd树、球树、各种距离、加权投票法、加权平均法、留一法交叉验证(选k值时用的方法)

k近邻和半径近邻(也称近邻)对比：k近邻如果k取3，测试样本的第3个近邻如果距离测试样本相比于前2个近邻要远很多时那么可以认为第3个近邻不应该作为它的近邻，而k近邻却认为第3个近邻是近邻，这是一种问题。但是半径近邻就解决了这一问题，让选出的近邻是在某半径内的近邻。不过半径近邻也有一个问题&#x