《统计学习方法》(第三章)—— K邻近

《统计学习方法:李航》笔记 从原理到实现(基于python)-- 第3章 k邻近邻法 阅读详情

K邻近算法

  • 定义:给定一个训练数据集,对新的输入实例,在训练数据集中找到与该实例最邻近的K个实例,这K个实例的多数属于某个类,就把该输入实例分为这个类。
  • 算法:
      输入:训练数据集:
        T={(x1,y1),(x2,y2),....,(xN,yN)}T=\{(x_1,y_1),(x_2,y_2),....,(x_N,y_N)\}T={(x1​,y1​),(x2​,y2​),....,(xN​,yN​)}其中xi∈χ⊆Rnx_i \in\chi\subseteq R^nxi​∈χ⊆Rn,为实例的特征向量,yi∈γ={c1,c2,...,ck}y_i \in\gamma=\{c_1,c_2,...,c_k\}yi​∈γ={c1​,c2​,...,ck​}为实例的类别,i=1,2,....,N;i=1,2,....,N;i=1,2,....,N;实例特征向量xxx;
      输出:实例xxx所属类别yyy
    • (1)(1)(1)根据给定的距离度量,在训练集TTT中找出与xxx最邻近的kkk个点,涵盖这个kkk个点的xxx的邻域记作Nk(x);N_k(x);Nk​(x);
    • (2)(2)(2)在Nk(x)N_k(x)Nk​(x)中根据分类决策规则(如多数表决)决定xxx的类别y;y;y;
          y=argmaxcj∑xi∈Nk(x)I(yi=cj)y=argmax_{c_j}\sum\limits_{x_i \in N_k(x)}I(y_i=c_j)y=argmaxcj​​xi​∈Nk​(x)∑​I(yi​=cj​)    i=1,2,....,N;j=1,2,...,Ki=1,2,....,N;j=1,2,...,Ki=1,2,....,N;j=1,2,...,K
          III为指示函数,如果条件成立则是111,否则是000,K=1K=1K=1称为最邻近,KKK邻近没有显式的学习过程

K邻近模型

  • 模型
      训练集,距离度量,kkk值和分类决策规则确定后,就可以对任何一个新的输入实例进行预测
  • 距离度量
    • Lp(xi,xj)=(∑l=1n∣xi(l)−xj(l)∣)1pL_p(x_i,x_j)=(\sum\limits_{l=1}^n|x_i^{(l)}-x_j^{(l)}|)^{\frac{1}{p}}Lp​(xi​,xj​)=(l=1∑n​∣xi(l)​−xj(l)​∣)p1​
    • p=2p=2p=2时为欧式距离
    • p=1p=1p=1时为曼哈顿距离
    • p=∞p=\inftyp=∞时L∞(xi,xj)=max⁡l∣xi(l)−xj(l)∣L_\infty(x_i,x_j)=\max_l|x_i^{(l)}-x_j^{(l)}|L∞​(xi​,xj​)=maxl​∣xi(l)​−xj(l)​∣
  • K值的选择
    • K值大则模型简单,近似误差大,估计误差小
    • K值小则模型复杂,近似误差小,估计误差大
  • 分类决策规则
    • 多数表示规则:
         如果分类的损失函数为0−10-10−1损失函数,分类函数f:Rn→{c1,c2,...,ck}f:R^n\to\{c_1,c_2,...,c_k\}f:Rn→{c1​,c2​,...,ck​}那么误分类的概率是
        P(Y≠f(X))=1−P(Y=f(X))P({Y} \neq {f(X)})=1-P(Y=f(X))P(Y​=f(X))=1−P(Y=f(X))对给定区域经验损失函数
        Loss=1k∑xi∈Nk(x)I(yi≠ci)=1−1k∑xi∈Nk(x)I(yi=ci)Loss=\Large\frac{1}{k}\normalsize\sum\limits_{x_i \in N_k(x)}I(y_i\ne c_i)=1-\Large\frac{1}{k}\normalsize\sum\limits_{x_i \in N_k(x)}I(y_i=c_i)Loss=k1​xi​∈Nk​(x)∑​I(yi​​=ci​)=1−k1​xi​∈Nk​(x)∑​I(yi​=ci​)
        要使LossLossLoss最小,就要使∑xi∈Nk(x)I(yi=ci)\sum\limits_{x_i \in N_k(x)}I(y_i=c_i)xi​∈Nk​(x)∑​I(yi​=ci​),最大,所以得证

KD树

  • 构造KD树
    • 算法:
        输入:kkk维空间数据集合T={(x1,y1),(x2,y2),....,(xN,yN)}T=\{(x_1,y_1),(x_2,y_2),....,(x_N,y_N)\}T={(x1​,y1​),(x2​,y2​),....,(xN​,yN​)},其中xi=(xi(1),xi(2),...,xi(k))Tx_i=(x_i^{(1)},x_i^{(2)},...,x_i^{(k)})^Txi​=(xi(1)​,xi(2)​,...,xi(k)​)T
       i=1,2,...,N;i=1,2,...,N;i=1,2,...,N;
        输出:kdkdkd树
      • (1)(1)(1)开始,构造根节点,根节点对应于包含TTT的kkk维空间的超矩形区域,选择x(1)x^{(1)}x(1)为坐标轴, 以TTT中的所以实例对x(1)x^{(1)}x(1)为中位数,分类左右两个子集,左子集小于x(1)x^{(1)}x(1),右子集大于x(1)x^{(1)}x(1),等于x(1)x^{(1)}x(1)则存在根节点,形成一个二叉树结构
      • (2)(2)(2)重复:以上一次划分为起点,设上一次划分为jjj维,则重新选j=j(modk)+1,j=j\pmod{k}+1,j=j(modk)+1,重新按照(1)(1)(1)进行操作
      • (3)(3)(3)直到两个子区域没有实例存在时停止。从而形成kdkdkd树
  • KD树的搜索:
    • 算法:
        输入:测试点(x,y)(x,y)(x,y)
        输出:类别
      • (1)(1)(1)按照最初划分规则递归的寻找包含测试点的最小子区域,先把它定位最近点
      • (2)(2)(2)返回父亲节点,如果此时选中节点集合个数小于kkk,则加入父亲节点,如果选中节点集合个数还小于kkk则加入另一个子节点,如果等于kkk则判断里面最远点和要加入点的距离,如小于最远点的化则更新,选择点的集合,同时如果最远集合的点的圆与子节点区域相交,也需要去判断一下。
      • (3)(3)(3)直到所有递归完成,最后集合里面就是k个最近的点,根据决策规则进行统计答案输出
        我们这里集合可以用优先队列来维护
课后实现
李航《统计学习方法》第三章——用Python实现KNN算法(MNIST数据集) 相关文章: 李航《统计学习方法》第二章——用Python实现感知器算法(MNIST数据集) 李航《统计学习方法》第四章——用Python实现朴素贝叶斯分类器(MNIST数据集) 看了第三章 k近邻法 (k-nearest neighbor, k-NN) , 发现KNN算法真的好适合在MNIST数据集上分类。因为KNN实际上就是一个少数服从多数的投票模型,所以可以用在多分类的 阅读详情

相关推荐

《统计学习方法》第三章 K-means算法

K-means

icecutie的博客 1918

《统计学习方法》第三章总结

第三章讲的是K邻近法,一种基本分类与回归的方法。简单描述就是:给定一个训练数据集,对新的输入实例,在训练数据集中找到与该实例最邻近的K个实例,这K个实例的多数属于某个类,就把该输入实例分为这个类。 例如上图,图中有红色的三角形类和蓝色的方块类,绿色的是待分类的对象,如果我们取K=3,那么很显然在绿色圆周围有两个红的一个蓝的,绿色的圆应该归为红色的一类,但是如果选择K=5,绿色的圆周围有三

backer 1077

SDN:使用Postman控制ODL查看和下发流表

所谓,其实可被视作是SDN对网络设备的数据转发功能的一种抽象。在传统网络设备中,交换机和路由器的数据转发需要依赖设备中保存的二层MAC地址转发表或者三层的IP地址路由表,SDN交换机中使用的流表也是如此,不过在它的表项中整合了网络中各个层次的网络配置信息,从而在进行数据转发时可以使用更丰富的规则。其流表中的每个表项结果如下图所示:OpenFlow1.3流表的每个表项由6部分组成:1、匹配域:匹配域即OpenFlow1.0流表中的包头域,用于对交换机接收到的数据包的包头内容进行匹配。Ehter Des。

lyhaoyuhangyuan的博客 2535

读书笔记-统计学习方法(李航)第三章

读书笔记-统计学习方法(小蓝)第三章 第三章 k近邻法3.1 k近邻算法3.2 k近邻模型距离度量k值的选择决策规则实践:手动实现sklearn 实现 3.1 k近邻算法 k近邻是一种基本的分类 和 回归 方法 k近邻法的三个基本要素为: 1:k值的选择 2:距离度量 1:分类决策规则 3.2 k近邻模型 距离度量 k值的选择 1:k值太小: 模型过于复杂(只考虑最近的一个点),过拟合 2:k值...

weixin_42681868的博客 389

【BAAS】基于supabase的知识库详细设计

为满足快速开发需要和减少开发及维护成本,使用BAAS(Backend-as-a-Service)模式可以很好的降低我们的后端维护成本,并提高前端对接效率。一般来说,BAAS是一种云服务模式,BaaS供应商会为提供一些通用的能力,例如用户身份验证、数据库管理、远程更新和推送通知(针对移动应用程序),以及云存储和自托管。BaaS最主流的是Google的firebase,具有相当完善的功能和集成方案,但他是收费的,而且在我们实际项目中,可能需要私有化部署,这时就需要一些开源的替代方案,例如主流的。

Ric的博客 1781

在工作台 LS-DYNA 中检索和变换反作用力分量

在结构仿真中,通常需要由施加的位移或速度边界条件产生的反作用力。此外,通常需要根据用户定义的坐标系解析反作用力分量。在本文中,详细介绍了在Workbench (WB) LS-DYNA 中,相对于用户定义的坐标系检索和变换反作用力分量的过程。

jkh920184196的博客 887

学习笔记-《统计学习方法》-第三章-k近邻

《统计学习方法》笔记

qq_34472257的博客 254

AI智能体安全沙箱agentguard:为LLM代码执行筑起防火墙

在AI应用开发领域,大语言模型(LLM)驱动的智能体(Agent)能够自动生成并执行代码,极大地提升了自动化能力。然而,赋予AI直接执行系统命令的权限也带来了显著的安全风险,如恶意代码注入、敏感数据泄露和系统资源滥用。为了解决这一核心矛盾,安全沙箱技术应运而生,它通过在不可信代码与宿主系统之间建立隔离层,实现"默认拒绝、最小权限"的安全原则。agentguard项目正是这一理念的工程实践,它结合白名单机制与容器化隔离,为AI智能体提供了可配置、可审计的安全执行环境。该方案不仅适用于内部自动化工具开发,也为构

weixin_28695537的博客 298

《统计学习方法》——第三章 k近邻法

本文只要记录一些书中的一些小知识点,挑一些本人认为重要的地方进行总结。各位道友!道长(zhǎng) 道长(chǎng)今天的内容是统计学习方法的第三章节,也不难,结合模型图理解更加方便。

weixin_46034279的博客 1118

C++怎么学?零基础也可以,一份完整学习路线图助你搞定!

提供一条清晰、系统且实践导向的C++学习路径。从基础语法、面向对象、泛型编程、异常处理,逐步深入STL、智能指针、并发编程等现代C++高级特性。无论是新手还是希望提升,通过系统学习与项目实践,助您将理论知识转化为实际解决问题的能力。

Lion_Long的博客 4033

通用抓取算法AnyGrasp(Graspnet)——本地部署并测试自定义输入数据

背景:GraspNet在数据采集方面,首先将相机固定到机械臂末端,对同一个场景拍摄256个不同的角度,同时场景中的每个物体都会提前采集好3D模型,之后将其投射到仿真环境中,在仿真环境中,对抓取位姿进行打标签,如此完成数据的采集。在运行官方的测试示例时,使用的是路径下的输入数据,可以分析下。color.png(输入):rgb图像(输出):输出的生成抓取位姿的图像depth.png(输入):和当前rgb图像对应的深度图像(保存格式是单通道uint16)meta.mat。

boss-dog 1333

《统计学习方法》第三章

3.1 K近邻算法 K近邻法的输入为实例的特征向量,对训练集的特征空间进行划分,然后输出为实例的类别。 (1)根据给定的距离度量,在训练集中找出与 最邻近的K个点,涵盖这K个点的的领域记作 K值的选择,距离度量,分类决策规则是K近邻算法的基本三要素 ...

Francis_s的博客 304

高通平台N4单路输入的720P相机预览

N4的一路720P Camera作为MIPI摄像头使用

llw21680的专栏 165

李航《统计学习方法》——第三章 k邻近法

由于网上资料很多,这里就不再对算法原理进行推导,仅给出博主用Python实现的代码,供大家参考 适用问题:多类分类 三个基本要素:k值的选择、距离度量及分类决策规则 测试数据集:train.csv 实现代码: # encoding=utf-8 import pandas as pd import numpy as np import time from sklearn.cross_v...

fuqiuai的博客 4172

【2026最新版】python点云处理算法汇总(长期更新版)

python点云处理算法整理。博客长期更新,最近一次更新时间为:2026年10月4日。

点云侠的博客 42万+

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

统计学习方法——(第三章)K邻近与Kd树

一、知识梳理 二、K邻近分类 1)概念 K最近邻(k-Nearest Neighbor,KNN),是一种常用于分类的算法,是有成熟理论支撑的、较为简单的经典机器学习算法之一。该方法的基本思路是:如果一个待分类样本在特征空间中的k个最相似(即特征空间中K近邻)的样本中的大多数属于某一个类别,则该样本也属于这个类别,即近朱者赤,近墨者黑。显然,对当前待分类样本的分类,需要大量已知分类的样本的支持,因此KNN是一种监督学习算法。 2)原理 对于一个新的输入数据点,在训练集中找到与它距离最近的K个点,

weixin_37799689的博客 996

android 蓝牙通讯demo

android 下蓝牙通讯demo,实现了发现蓝牙,使能蓝牙,通过蓝牙发送消息。

统计学习方法第三章作业:一般k邻近、平衡kd树构造、kd树邻近搜索算法代码实现

一般k邻近 import numpy as np import matplotlib.pyplot as plt class K_near: def __init__(self,X,Y,K=5,p=2): self.K = K self.X = np.array(X) self.Y = np.array(Y) self.p = p def cauclate_dis(self,x1,x2): return np

weixin_45839693的博客 330

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

廖雪峰Python教程[完整版]

廖雪峰的python教程整理的,已经排好版了,而且还是完整的,适合小白

统计学习方法笔记(李航)———第三章(k近邻法)

k 近邻法 (k-NN) 是一种基于实例的学习方法,无法转化为对参数空间的搜索问题(参数最优化 问题)。它的特点是对特征空间进行搜索。除了k近邻法,本章还对以下几个问题进行较深入的讨 论: 切比雪夫距离 L∞(xi,xj)L_{\infty}\left(x_{i}, x_{j}\right)L∞​(xi​,xj​) 的计算 “近似误差” 与“估计误差" 的含义 k-d树搜索算法图解 一、算法 输入:训练集 T={(x1,y1),(x2,y2),…,(xN,yN)},xi∈X⊆RnT=\left\{\le

weixin_44023658的博客 646

李航统计学习方法-K邻近法

k邻近简单的理解一下就是,给定一部分带标签样本和一个未知标签样本,将未知标签样本和带标签样本一一比较求距离,然后根据最近k个样本来决定未知标签样本的类别。 如上图:确定圆圈的类别,如K=3,则为三角;若K=5,则为正方形。那么怎么求距离?选择何种求距离算法。 书中给出了Lp距离的求解: 除了距离度量外,K邻近法的K值如何选取也很重要,书中介绍如下: K值较小,模型较复杂,易过

l_xyy的博客 513

统计学习方法——李航 笔记

第一章 概论 统计学习的目标在于:从假设空间中选取最优模型 统计学方法三要素:方法=模型+策略+算法 训练集用来训练模型,验证集用来选择模型,测试集用于对学习方法的评估。 1、输入变量和输出变量均为连续变量的预测问题称为回归问题,输出变量均为有限个离散变量的预测问题称为分类问题,输入变量和输出变量均为变量序列的预测问题称为标注问题 2、监督学习: 3、无监督学习: 4、模型:所要学习的条件概率分布或决策函数。 模型的假设空间:包括所有可能的条件概率分布或决策函数。 5、两个基本策略:经验风险最小化和结构

qq_45383347的博客 3437

统计学习方法读书笔记(三)-k近邻法

全部笔记的汇总贴:统计学习方法读书笔记汇总贴 一、kkk近邻算法 给定一个训练数据集,对新的输入实例,在训练数据集中找到与该实例最邻近的kkk个实例, 这kkk个实例的多数属于某个类,就把该输入实例分为这个类。kkk近邻法没有显式的学习过程。 k近邻法的特殊情况是k=1k=1k=1的情形,称为最近邻算法。对于输入的实例点(特征向量)xxx,最近邻法将训练数据集中与xxx最邻近点的类作为xxx的类。 二、kkk近邻模型 模型由三个基本要素一一 距离度量、kkk值的选择和分类决策规则决定。 (一)模型 kkk近

scu-liu的博客 546

【统计学习方法】第3章 k邻近法

k邻近法(k-nearest neighbor,k-NN)是一种基本分类与回归方法,这里只讨论分类问题中的k邻近法。

记录个人学习、笔记 198

统计学习笔记-第三章 k邻近法

第三章 k近邻法 文章目录第三章 k近邻法3.1 k近邻算法3.2 k近邻模型3.2.1 模型3.2.2 距离度量3.2.3 K值的选择3.2.4 分类决策规则3.3 k近邻法的实现:kd树3.3.1 构造kdkdkd树3.3.2 搜索 kdkdkd 树 k近邻法(k-nearnest neighbor, K-NN)是一种基本分类与回归方法. 对于输入的实例,k近邻法通过多数表决等方式进行预测,故其不具有显式的学习过程; 三个基本要素是:K值的选择、距离度量及分类决策准则. 3.1 k近邻算法 算法 3

qq_36178962的博客 533

统计学习方法(李航) 第三章 k近邻算法

k近邻法是一种基本的分类与回归方法, 其主要思想是: 假定给定一个训练集, 其中的实例标签已定, 当输入新的实例时, 可以根据其最近的k个训练实例的标签, 预测新实例对应的标注信息分类问题: 对新的实例, 通过与之相邻的k个训练实例的类别, 通过多数表决等方式进行预测回归问题: 对新的实例, 根据与之相邻的k个训练实例的标签, 通过均值计算进行预测输入: 训练集T{(x1​y1​x2​y2​...xn​yn​)}xi​∈X⊆Rny∈Yc。

qq_62954485的博客 830

k邻近法的学习

在统计学习方法里面,求取k邻近方法的有一个错误就是如何求取中位数(在第41页小脚标注下),概述给的概念是错误的。正确的理解如下:https://toutiao.io/posts/563580/app_preview https://leileiluoluo.com/posts/kdtree-algorithm-and-implementation.html https://blog.csdn....

邹小驴 428

K邻近算法(K-NN)

简单记录学习《统计学习方法》书中的k近邻模型。 k近邻法(k-nearest neighbor,k-NN)是一种基本分类与回归方法。 k邻近算法 k邻近算犯法简单、直观描述:给定一个训练数据集,对新的输入实例,在训练数据集中找到与该实例最邻近的k个实例,这k个实例的多数属于某个类,就把该输入实例分为这个类。 算法描述: 输入:训练数据集 T={(x1,y1),(x2,y2),(x3,y3),⋯ ,(xN,yN)} T= \lbrace(x_{1},y_{1}),(x_{2},y_{2}),(x_3,y_3)

qq_40155447的博客 958
上一篇: 《统计学习方法》(第二章)—— 感知机
下一篇: 《统计学习方法》(第四章)——朴素贝叶斯
mkopvec
博客等级 码龄8年 22粉丝 331原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值