K近邻 (k-nearest neighbor k-NN)(面试要点)

本文详细介绍了K近邻算法的基本原理及其三个核心要素:k值的选择、距离度量及分类决策规则。此外还探讨了KD树的构建方法,包括如何通过计算特征方差选取最优划分特征。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

k近邻法不具有显式的学习过程,也就是说没有模型

k近邻三个要素:

  1. k值的选择(一般使用交叉验证)
    k值增大可以减少学习的估计误差,但也会使学习近似误差变大,使模型变得简单。

  2. 距离度量(一般会使用欧式距离 or 更一般的LpLp距离 or 曼哈顿距离)

  3. 分类决策规则
    往往是使用多数表决,即由输入实例的k个邻近的训练实例中的多数类决定输入实例的类。
    多数表决规则等价于经验风险最小化

kd树的实现
__ KD树建树采用的是从m个样本的n维特征中,分别计算n个特征的取值的方差,用方差最大的第k维特征nknk来作为根节点。对于这个特征,我们选择特征nknk的取值的中位数nkvnkv对应的样本作为划分点,对于所有第k维特征的取值小于nkvnkv的样本,我们划入左子树,对于第k维特征的取值大于等于nkvnkv的样本,我们划入右子树,对于左子树和右子树,我们采用和刚才同样的办法来找方差最大的特征来做更节点,递归的生成KD树。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值