统计学习方法超详细学习笔记-第三章 K近邻法

最新推荐文章于 2025-12-04 22:05:42 发布
原创 最新推荐文章于 2025-12-04 22:05:42 发布 · 186 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#机器学习

本文深入探讨了K近邻算法的基本原理与应用，详细介绍了K近邻算法的特点，包括其无显式学习过程的独特性；阐述了近邻模型、距离度量、K值选择及分类决策规则等内容；并通过kd树的构建与搜索来实现K近邻法。

第三章 K近邻法

在这里插入图片描述

3.1 K近邻算法

在这里插入图片描述

K近邻算法没有显式的学习过程。

3.2 近邻模型

在这里插入图片描述

3.2.1 模型

在这里插入图片描述

在这里插入图片描述

3.2.2 距离度量

在这里插入图片描述

3.2.3 K值的选择

在这里插入图片描述
在这里插入图片描述

3.2.4 分类决策规则

在这里插入图片描述

在这里插入图片描述

3.3 K近邻法的实现： kd树

在这里插入图片描述

3.3.1 构造kd树

在这里插入图片描述

3.3.2 搜索kd树

在这里插入图片描述

【统计学习方法】学习笔记——第三章：K近邻法
小哲的博客
02-09 1037
统计学习方法学习笔记——K近邻法1. k近邻算法2. k近邻模型2.1模型2.2距离度量2.3 k值的选择2.4 分类决策规则3. 估计误差与近似误差3.1 估计误差3.2 近似误差3.3 两者区别与联系4. k近邻法的实现：kd树4.1 构造kd树参考资料 kkk近邻法（k-nearest neighbor, k-NN）是一种基本分类与回归方法。这里只讨论分类问题中的k近邻法。k近邻法的输入为实例的特征向量，对应于特征空间中点；输出为实例的类别，可以取多类。k近邻法假设给定一个训练数据集，其中的实例类别已
机器学习笔记——KNN（K-Nearest Neighbors，K 近邻算法）
haopinglianlian的博客
11-17 2154
本笔记介绍机器学习中的 KNN（K-Nearest Neighbors，K 近邻算法）
统计学习方法---KNN(K近邻)
飘过的春风
11-14 1565
前言k邻近算法（k-nearest）是一种判别模型，解决分类问题和回归问题，以分类问题为主，在此我们也主要介绍分类问题中的k近邻算法。k近邻算法的输入为实例的特征向量，对应予特征空间中的点；输出为实例的类别，可以取多类，（前面我们介绍的三种方法主要是解决二分类问题）。k近邻算法假设给定一个训练数据集，其中的实例类别已定。分类时，对新的实例，根据其k个最近邻的训练实例的类别，通过多数表决等决策方法进...
【统计学习方法】学习笔记-第3章-k近邻法
煎饼加鸡丝
11-27 463
(知乎:https://zhuanlan.zhihu.com/p/314613894) k近邻法(k-nearest neighbor,k-NN)是一种基本分类和回归方法（这里讨论分类），对于新的实例，根据其k个最近邻的训练实例的类别，通过多数表决等方式预测。k近邻不具有显式的学习过程，是利用训练数据对特征空间进行划分，作为分类模型。k近邻法的三个基本要素——k值选择、距离度量、分类决策规则。 3.1 k近邻算法 【算法3.1（k近邻法）】 当k=1时的特殊情况，称为最近邻算法。 3.2 k近邻模
机器学习-统计学习方法第二版学习笔记-第三章 K近邻法
shengxing_stu的博客
10-07 210
本文主要介绍了K近邻法的算法、模型及其实现
学习笔记-《统计学习方法》-第三章-k近邻
qq_34472257的博客
07-09 228
《统计学习方法》笔记
统计学习方法读书笔记第三章：k近邻法
weixin_40692963的博客
02-13 308
统计学习方法读书笔记第三章：k近邻法k近邻法k紧邻算法k近邻模型k近邻法的实现：kd树 k近邻法 kkk近邻法是一种基本分类与回归方法。kkk近邻的输入为实例的特征向量，对应于特征空间的点；输出为实例的类别，可以取多类。kkk近邻法假设给定一个训练数据集，其中的实例类别已定。分类时，对新的实例，根据其kkk个最近邻的训练实例的类别，通过多数表决等方式进行预测。因此，kkk近邻法不具有显式的学习过程...
李航机器学习 | (4) 统计学习方法(第2版)笔记 --- k近邻法
sdu_hao的博客
11-13 991
k近邻(k-nearest neighbor,k-NN)是一种基本分类与回归方法，本博客只谈论分类问题中的k近邻法。 k近邻法的输入是实例的特征向量，对应特征空间中的点，输出为实例的类别，可以取多类。 k近邻法假定给定一个训练数据集，其中的实例类别已确定。分类时，对于新的实例，根据其k个最近邻的训练实例的类别，通过多数表决等方式进行预测（即，k个最近邻训练实例中哪个类别的实例最多，就把新实例预...
《统计学习方法》第3章——k近邻法【学习笔记】
玦尘的博客
11-27 1195
这些笔记主要是我个人的学习记录，如果恰好对你也有帮助，那就更好了。希望通过这个过程，能让自己对机器学习的理论基础有更扎实的理解。
【统计学习方法学习笔记】-task03第三章k近邻法
weixin_42115831的博客
12-30 934
第三章$k$近邻法3.1 kkk近邻算法3.2 kkk近邻模型3.2.1 模型3.2.2 距离度量3.2.3 kkk值的选择3.2.4 分类决策规则3.3 kkk近邻法的实现：kdkdkd树3.3.1 构造kdkdkd树3.3.2 搜索kdkdkd树习题3.23.3 3.1 kkk近邻算法 kkk近邻法(k-nearest neighbor,k-NN)：基本的分类和回归方法。这里只讨论分类问题。对新的实例，根据其kkk个最近邻的训练实例的类别，通过多数表决等方式进行预测。故不具备显示的学习过程。利用训练数据
统计学习方法读书笔记（三）-k近邻法
scu-liu的博客
01-16 421
全部笔记的汇总贴：统计学习方法读书笔记汇总贴 一、kkk近邻算法 给定一个训练数据集，对新的输入实例，在训练数据集中找到与该实例最邻近的kkk个实例， 这kkk个实例的多数属于某个类，就把该输入实例分为这个类。kkk近邻法没有显式的学习过程。 k近邻法的特殊情况是k=1k=1k=1的情形，称为最近邻算法。对于输入的实例点（特征向量）xxx，最近邻法将训练数据集中与xxx最邻近点的类作为xxx的类。 二、kkk近邻模型 模型由三个基本要素一一 距离度量、kkk值的选择和分类决策规则决定。 （一）模型 kkk近
李航《统计学习方法》笔记-从原理到实现
10-24
第三章 K 近邻法 3.2.2 距离度量（P39） 3.3.1 构造kd 树（P41-P42） 第四章 朴素贝叶斯算法 4.1.1 基本方法（P47-P48） 4.1.2 后验概率最大化的含义（P48-49） 4.2.1 极大似然估计（P49） 4.2.2 学习与分类算法...
《统计学习方法：李航》笔记 从原理到实现（基于python）-- 第3章 k邻近邻法
weixin_42046845的博客
01-24 1351
《统计学习方法：李航》笔记 从原理到实现（基于python）-- 第3章 k邻近邻法
【机器学习】23-25 决策树 & 树集成
weixin_54010404的博客
12-02 1196
本文系统性地介绍了决策树模型及其相关算法。首先阐述了决策树的基本结构与学习过程，重点讨论了如何通过最大化信息增益选择最优划分特征，并详细解释了熵作为纯度衡量指标的计算方法。文章涵盖了分类树与回归树的构建逻辑，包括离散特征处理（独热编码）和连续特征阈值选择。 进一步，文章深入探讨了决策树集成方法，重点分析了随机森林算法通过放回抽样和特征随机选择来增强模型鲁棒性的机制。特别介绍了XGBoost算法的核心优势：自适应样本权重调整、内置正则化和高效实现。最后，文章对比了决策树集成与神经网络的应用场景。
0011机器学习特征工程
老欧学视觉的博客
12-03 732
本文系统介绍了机器学习特征工程的关键内容，包括特征工程在机器学习流程中的重要性、数据处理方法和降维技术。主要内容涵盖：1）特征工程的核心作用是通过数据预处理提升模型效果，包括异常值处理、数据平衡、文本向量化等；2）详细讲解了数据清洗、缺失值填充、标准化/归一化、One-Hot编码等基础处理方法；3）重点阐述了文本特征提取技术（词袋法、TF-IDF）和降维方法（特征选择、PCA、LDA）。文章强调特征工程需结合业务场景进行特征衍生和优化，占整个开发流程30%-50%的工作量，是机器学习项目成功的关键环节。
学习笔记二十三：支持向量机-间隔与支持向量
dengdaijc的专栏
12-02 738
本文介绍了支持向量机(SVM)的基本原理。SVM通过在样本空间中寻找最优划分超平面来实现分类，其核心思想是最大化分类间隔以提高泛化能力。关键概念包括：划分超平面的数学表示（由法向量和位移项定义）、支持向量（决定超平面位置的最近样本点）以及间隔（反映分类置信度）。SVM的基本型是一个凸二次规划问题，通过最小化法向量范数平方来最大化间隔，同时满足所有样本正确分类的约束条件。该方法具有理论严谨、模型稀疏、全局最优等优势，是经典的分类学习算法。
机器学习--损失函数
weixin_57225400的博客
12-04 380
损失函数（Loss Function）是机器学习中用于衡量模型预测值与真实值之间差异的函数，是优化算法的核心目标。通过最小化损失函数，模型逐步调整参数以提高预测准确性。通过组合现有函数或设计新公式满足特定需求。加权MSE：为不同样本分配不同权重。正则化损失：加入L1/L2惩罚项防止过拟合。
【机器学习三大范式对比总结】
最新发布
严文文 Chris
12-04 269
当初我学机器学习，一看到这些复杂的表格和术语就头疼。直到有一天，我意识到，这三种学习范式其实就像我们人类不同的学习方式，我才恍然大悟。现在，我希望以这段心路历程，带你用全新的视角理解它们。想象你被丢进一个完全陌生的市场，没有任何商品标签。你正在用什么范式面对你的知识、你的工作、你的人生困境呢？这个问题的答案，或许比任何算法选择都更有价值。所以，理解这三大范式，不仅仅是记住一张表格。它是在理解机器如何“学习”的同时，反过来。），你通过反复练习，学会从题目推导答案的。），自我完善，实现“举一反三”。
【模式识别与机器学习（14）】惰性学习kNN（聚类分析）【3】K-means算法中K值确定的五种方式
hiliang521的博客
12-02 702
【模式识别与机器学习（14）】K-means算法中K值确定教程
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值