吃瓜笔记---第十章 降维与度量学习

deeplearningcc deeplearningcc 博客等级 墨衍会员 · AI 创作全网分发 墨衍智能分发 本文由作者通过墨衍一键同步至各平台 1分发平台 300+累计阅读 385平均单平台 已同步平台 优快云 微信公众号 微博 知乎 掘金 百家号 博客园 抖音 小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年，写一次发全网 我也要 码龄4年
关注
原创 最新推荐文章于 2026-03-01 00:11:25 发布 385 阅读 AI 写同款· GEO 优化 ›
西瓜书学习笔记——第十章：降维与度量学习 10. 降维与度量学习10.1 k近邻学习10.2 低维嵌入经典降维方法：多维缩放(MDS)10.3 主成分分析 10.1 k近邻学习 k近邻学习（knn）是一种监督学习算法，它直接使用测试样本和训练样本，没有显示的训练过程，工作机制如下：给定测试样本，基于某种距离度量找出训练集中与其最靠近的k个训练样本，然后基于这k个邻居的信息来进行预测。通常，对于不同类型的任务，使用的预测方法不同： 分类任... 阅读详情

1 k近邻学习

        k近邻（k-Nearest Neighbor 简称KNN）是一种常见的监督学习方法。

1.1 算法描述

        输入：训练数据集

        T={(x_1,y_1),(x_2,y_2),.....,(x_N,y_N))}   x_i为实例的n维特征向量，y_i为实例的类别，维度为K

        输出：实例x所属的类别y

        (1)根据给定的距离度量，在训练集T中找出与x最近的k个点，涵盖这k个点的x的领域记作N_k(x);

        (2)在N_k(x)中根据分类决策规则（如多数表决）决定x的类别y；

                y=\underset{c_j}{argmax}\sum_{x_i\in N_k(x)}^{}I(y_i=c_j), i=1,2,...,N; j=1,2,...,K

                其中I为指示函数，即y=c取1，不等取0。

1.2 最近邻可行性描述

        

2 维数灾难

        上一节得出的最近邻的泛化误差是基于一个重要假设：任意测试样本x附近任意小的\delta范围内总能找到一个训练样本，即训练样本的采样密度足够大。但是这个在现实中很难满足。如果\delta =0.001，即在范围为1的长度内需要1000个样本点，这仅仅是样本维数为1的情况下，如果样本维数为20，则所需要的样本点为(1000)^{20}=10^{60},这是一个非常大的数字。同时，在高维情况下还会出现数据样本稀疏、距离计算困难等问题，这是所有机器学习方法共同面临的严重障碍——“维数灾难”（curse of dimensionality）

2.1 低维嵌入

        缓解维数灾难的的一个重要途径就是降维（dimension reduction），即通过某种数学计算高维属性空间转变为一个低维“子空间”

 

 若要求原始空间中样本之间的距离在低维空间中得以保持，如上图所示，即得到“多维缩放”(MDS)

        

 

        

标签
#学习 #算法 #人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
周志华《Machine Learning》学习笔记（12）--降维与度量学习 上篇主要介绍了几种常用的聚类算法，首先从距离度量与性能评估出发，列举了常见的距离计算公式与聚类评价指标，接着分别讨论了K-Means、LVQ、高斯混合聚类、密度聚类以及层次聚类算法。K-Means与LVQ都试图以类簇中心作为原型指导聚类；高斯混合聚类采用高斯分布来描述类簇原型；密度聚类则是将一个核心对象所有密度可达的样本形成类簇；层次聚类是一种自底向上的树形聚类方法。本篇将讨论机器学习常用的方法--降维与度量学习。 阅读详情

相关推荐

《机器学习》周志华(西瓜书)学习笔记 第十章 降维与度量学习

机器学习 总目录 第十章 降维与度量学习 10.1 K近邻学习 k近邻学习是一种监督学习算法，在给定的训练样本集中，基于某种距离度量，找出与训练集最靠近的kkk个训练样本，然后基于这k个邻居信息来进行预测。 投票法：通常在分类任务中使用，判别方法是选择这kk个样本中出现最多的类别标记作为预测结果。 平均法：通常在回归任务中使用，判别方法是将这kk个样本的实值输出标记的平均值最为预测结果。 加权平...

sdm12345的博客 3320

机器学习西瓜书笔记(十) 第十章降维与度量学习+代码

本章是关于降维与度量学习的一个概述，涵盖了多种降维技术及其原理。以下是对每个部分的简要总结和澄清：k近邻（kNN）：一种基于实例的学习算法，通过查找测试样本最近的k个训练样本来进行预测。在分类中使用投票法，在回归中使用平均法或加权方法。低维嵌入：将高维数据映射到低维空间的技术，目的是保留数据的重要结构和特征，便于分析和可视化。主成分分析（PCA）：通过正交变换将变量转换为一组线性不相关的变量，以减少数据维度同时保留数据变异性。

weixin_42329812的博客 1873

机器学习笔记(十)降维和度量学习

10.降维和度量学习 10.1k近邻学习 k近邻（k-NearestNeighbor，简称kNN）学习是一种常用的监督学习方法，其原理是：给定测试样本，基于某种距离度量找出训练集中与其最靠近的k个训练样本，然后基于这k个邻居的信息来进行预测。在分类任务中，使用投票法，选择k个样本中出现最多的类别标记作为预测结果；在回归任务中，使用平均法，将这k个样本的实值输出标记的平均值作为预测结果。自然，也

医疗影像检索 1万+

【机器学习笔记】降维与度量学习

接着使用拉格朗日乘子法求解上面的优化问题，得到：

MrsBaek的博客 1389

西瓜书学习笔记-10 降维与度量学习

chapter 10 降维与度量学习 10.1 k近邻学习 k近邻（k nearest neighbor，knn）学习是一种常用的监督学习方法，其工作机制非常简单：给定测试样本，基于某种距离度量找出训练集中与其最接近的k个训练样本，然后基于这k个邻居的信息对该测试样本进行预测。 对于分类任务，还是采用“投票法”决定测试样本的标记。 在回归任务中，使用的是“平均法”，即将这k个邻居的平均值作为预测结...

weixin_41872340的博客 571

USB 3.0 高清音视频采集芯片——MS2130

MS2130 是一款 USB 3.0 高清视频和音频采集芯片，内部集成 USB3.0 Device 控制器、数据收发模块、音视频处理模块。

YOU_SeMi的博客 7865

西瓜书读书笔记整理（十） —— 第十章 降维与度量学习

kNN算法（k-Nearest Neighbors）是一种常用的分类和回归算法。它的基本思想是根据最近邻的样本来预测未知样本的标签或值。**PCA（Principal Component Analysis）**是一种常用的线性降维算法，通过寻找数据中的主要方差方向，将高维数据映射到具有较低维度的新空间，以提取数据的关键信息和减少维度。PCA（Principal Component Analysis）是一种常用的线性降维算法，用于将高维数据映射到较低维度的新空间。

Smileyan's blog 1万+

避坑指南：Win10安装Docker Desktop时Hyper-V报错的7种解决方案（2024最新版）

本文提供了2024年最新、最全面的Windows 10系统下Docker Desktop安装时Hyper-V报错的解决方案指南。文章深入剖析了Hyper-V与Docker的共生关系，并系统性地给出了从BIOS/UEFI设置、Windows功能启用、bcdedit命令修复到处理多虚拟化环境共存等7种核心解决方案，帮助开发者彻底解决安装困局，顺利部署容器化开发环境。

weixin_28840143的博客 530

降维与度量学习

缓解维数灾难的一个重要途径就是降维，即通过某种数学变换将原始高维空间转变到一个低维的子空间。这样在子空间中样本密度就会增大，距离计算也会比之前简单。一个度量（距离函数）是一个定义集合中元素之间距离的函数。一个具有度量的集合被称为度量空间。度量学习即相似度学习。

tt丫的博客 1713

K8S证书过期解决办法之替换证书

k8s证书过期解决方案之替换证书

q_hsolucky的博客 1万+

基于matlab的图像HOG特征提取算法仿真

方向梯度直方图（Histogram of Oriented Gradient, HOG）特征是一种在计算机视觉和图像处理中用来进行物体检测的特征描述子。它通过计算和统计图像局部区域的梯度方向直方图来构成特征。Hog特征结合SVM分类器已经被广泛应用于图像识别中，尤其在行人检测中获得了极大的成功。需要提醒的是，HOG+SVM进行行人检测的方法是法国研究人员Dalal在2005的CVPR上提出的，而如今虽然有很多行人检测算法不断提出，但基本都是以HOG+SVM的思路为主。

平时工作较为繁忙,私信消息一般晚上回复,谢谢大家~~ 730

【机器学习西瓜书学习笔记——降维与度量学习】

度量空间：一个具有度量的集合被称为。

m0_51148715的博客 1291

筹码峰五句口诀，看懂主力的秘密动作！（附实战图示）

筹码图的价值在于，它不像K线那样容易造假。主力可以骗线，但骗不了筹码分布。主力在不在；是吸筹还是出货；接下来是变盘还是震荡。这五句口诀可以说是“筹码阅读的入门圣经”：单峰坚挺变盘在即，双峰对垒高抛低吸；上峰不移主力在跑，多峰林立行情不止；下峰不移不离不弃，筹码识庄稳中取利！📌市场从来不是靠猜，而是靠看清。筹码，就是主力最真实的痕迹。如果你想学会提前布局、跟庄不被甩，学会看筹码峰——这一步必须打牢！

代码简单说 Vue、JAVA、PHP、Node.js 熟练运用，接口、架构、性能全搞定。 1167

机器学习（周志华） 第十章降维与度量学习

关于周志华老师的《机器学习》这本书的学习笔记 记录学习过程 本博客记录Chapter10

YJY131248的博客 2247

在 SAP S/4HANA Public Cloud 中做产品扩展：从 Key User 到 ABAP Cloud 与 BTP 的三轨实践指南

摘要：SAP S/4HANA Public Cloud 提供三种扩展方式（key user、developer extensibility 和 side-by-side），遵循 clean core 原则确保升级稳定。key user 扩展适合无代码轻量改良，developer extensibility 用于受控 ABAP 开发，side-by-side 则适用于云原生独立应用。文章通过销售订单优先级字段、退货审批微服务和采购校验等案例，说明不同扩展路径的适用场景与实现方法，帮助开发者在三系统景观中合理选

2007 年 ~ 2025 年，深耕 SAP 技术 18 年 294

matlab电子科技大学数学实验期末模拟35道（1）

【代码】matlab电子科技大学数学实验期末模拟35道。

c_wrj_的博客 2044

机器学习----第十章降维与度量学习 学习笔记

目录k近邻(k-Nearest Neihbor , kNN)学习低维嵌入主成分分析（Principal Component Analysis , PCA）核化线性降维流形学习（manifold learning）等度量映射（Isometric Mapping , Isomap）局部线性嵌入（Locally Linear Embedding , LLE）度量学习（metric learning） k近邻(k-Nearest Neihbor , kNN)学习 首先我们先来理解**“有监督学习”**：对具有概念标

weixin_43580130的博客 1454

数学工具箱：Clarke与Park变换

本文详细解析了FOC（磁场定向控制）中的核心数学工具——Clarke变换与Park变换。首先阐述了坐标变换的必要性：将复杂的三相交流系统简化为直流系统，便于精确控制。Clarke变换将三相静止坐标系转换为两相静止坐标系，减少变量数量；Park变换进一步将两相静止坐标系转换为两相旋转坐标系，实现交流量到直流量的转换。文章提供了两种变换的数学公式、物理意义图解及C语言实现代码，并简要介绍了逆变换过程。这些变换为电机控制提供了关键的数学基础，后续将结合GD32F303的FPU特性进行优化实现。

汽车电子软件领域知识分享 180

《深度学习》读书笔记 ——第十章 降维与度量学习

1、k邻近学习 k邻近（k-Nearest Neighbor，简称kNN）学习是一种常用的监督学习方法，其工作机制简单：给定测试样本，基于某种距离度量找出训练集中与最靠近的k个训练样本，然后基于这k个“邻居”的信息进行预测，通常，在分类任务中可使用投票法，即选择这k个样本中出现最多的类别标记作为预测结果；在回归任务中可使用“平均法”，即将这k个样本的实值输出标记的平均值作为预测结果；还可基于距离...

u011288709的博客 968

IMSL CNL 7.0.0 (x86-64)Crack

IMSL CNL 7.0.0 (x86-64)Crack intel的算法库破解文件，这是C++版本的破解文件

IEM模型，地表粗糙度模拟

利用微波反演土壤水分时候，利用IEM模型可以实现对随机地表的模拟

机器学习笔记 第十章 降维与度量学习

值得注意的是，在分类任务中可使用投票法，回归任务中可使用平均法，此外，还可以进行加权平均或加权投票。流形学习是一类借鉴了拓扑流形概念的降维方法，如果低维流形嵌入到高维空间中，那么其分布虽然看上去十分复杂，但在局部上仍具有欧式空间的性质。等度量映射的观点是，高维空间上的直线距离在低维上不可达，而应是流体上的本真距离。降维效果通常是比较降维前后学习器的性能来体现的，如果性能有所提高，那么降维起了作用，当降维到二维或者三维，那么可以可以利用可视化技术来判断降维效果。求出矩阵的B的特征向量矩阵V，即。

qq_53034510的博客 888

ssm框架搭建

这个是一个在idea上成功跑起来的ssm框架项目，保存在这里方便以后使用直接下载

降维与度量学习笔记

1. k近邻学习 k 近邻(k-Nearest Neighbor，简称 KNN)学习是一种常用的监督学习方法， 其工作机制非常简单: 给定测试样本，基于某种距离度量找出训练集中与其最靠近的 k 个训练样本，然后基于这 k 个"邻居"的信息来进行预测。通常，在分类任务中可使用**“投票法”** 即选择这 k 个样本中出现最多的类别标记作为预测结果；在回归任务中时使用**“平均法”** ，即将这 k ...

weixin_41940752的博客 461

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术，以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索，主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式，计算机控制系统的数学描述与基本分析方法，以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

《西瓜书》笔记10：降维与度量学习（三）

4. 核化线性降维线性降维方法假设：从高维空间到低维空间的函数映射是线性的。现实任务中，可能需要非线性映射才可找到适当的低维嵌入。如上图，样本点从二维空间中的矩形区域采样后，以S形曲面嵌入到三维空间。若直接使用线性降维方法对三维空间观察到的样本点进行降维，将丢失原本的低维结构。“原本采样的”低维空间称为本真低维空间。非线性降维的一种常用方法：基于核技巧对线性降维方法进行核化。如核主成分分析，KPCA

鸟恋旧林的博客 1945

【机器学习基础】第四十三课：[降维与度量学习]度量学习

【机器学习基础】系列博客为参考周志华老师的《机器学习》一书，自己所做的读书笔记。

qq_34222839的博客 756

机器学习读书笔记：样本降维

文章目录k近邻算法PCA主成分分析PCA代码核化线性降维(KPCA)低维嵌入(MDS)流形学习等度量映射(Isomap)局部线性嵌入(LLE)度量学习 k近邻算法 ​ 在《机器学习》这本书中，讲降维方法之前首先介绍了这个k近邻算法。开始不知道是为什么，仔细看完之后还是了解了作者的思路。 ​ k近邻算法是一个不需要训练的分类算法，它的分类过程如下： 针对新样本xix_ixi​，在已有的训练样本集DDD中计算与自己最近的kkk个最近距离的样本，距离计算可以参照聚类算法里面的介绍。 根据找到的这kkk个样

新兴IT民工的专栏 2万+

周志华《机器学习》同步学习笔记 ——第十章降维与度量学习

周志华《机器学习》同步学习笔记 ——第十章降维与度量学习10.1 k近邻学习10.2 低纬嵌入10.3 主成分分析10.4 核化线性降维10.5 流形学习10.6 度量学习 10.1 k近邻学习 k近邻学习即kNN（k-Nearest Neighbor）是一种常用的监督学习方法：给定某个测试样本，基于某种距离度量在训练集中找出与其距离最近的k个带有真实标记的训练样本，然后给基于这k个邻居的真实标记...

克小洛的秘密基地 1647

【周志华机器学习】十、降维与度量学习

文章目录参考资料1. 维数灾难2. K近邻学习（kNN）2.1 分析2.2 KNN最近邻分类算法的过程3. MDS算法 参考资料 Machine-learning-learning-notes LeeML-Notes ML-NLP 本博客是根据周志华的西瓜书和参考资料1、2、3所做的笔记，主要用于学习，非技术类博客，因此存在大量复制粘贴，请见谅。 如果本篇博客有后记部分，则该部分表示的是在书本原有的基础知识上，进行的知识点的扩充。 1. 维数灾难 样本的特征数称为维数（dimensionality

weixin_42301220的博客 2042
上一篇： 吃瓜笔记---第七章 贝叶斯分类器
下一篇： 2022优化理论与应用---SVM
点赞 0
评论 0
书签 书签 0
deeplearningcc
deeplearningcc
博客等级 码龄4年 0粉丝 10原创
+ 关注
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值