周志华 《机器学习》之 第十章（降维与度量学习）概念总结

最新推荐文章于 2025-11-02 19:49:00 发布
原创 最新推荐文章于 2025-11-02 19:49:00 发布 · 3.5k 阅读 · 5 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#机器学习 #降维 #主成分分析-PCA #度量学习

本文介绍了降维技术在图像识别中的应用，重点讲述了PCA主成分分析算法，并对比了K邻近学习、低维嵌入等方法。同时，还讨论了线性降维、核化线性降维、流形学习及度量学习等技术。

降维在一起图像识别过程也经常被采用的一种分类算法，例如二维数据经过投影变为一维数据，从而更好的表征数据的特征，再进行识别。在前面章节中提到过LDA（线性判别分析）也可以当做一种简单降维处理。在周老师的这章中主要讲述PCA主成分分析算法对高维数据进行降维。降维是一种解决维数灾难的重要途径。书中从如下几节进行介绍：

1、K邻近学习

k

最低0.47元/天 解锁文章
机器学习-降维与度量学习
hackerlee
11-07 2753
10.1近邻学习k近邻（k-Nearest Neighbor，简称kNN）学习是一种常用的监督学习方法，其原理是:给定测试样本，找出训练集中与其最靠近的k个训练样本（基于距离度量方式），然后基于这K个“邻居”的信息来进行预测。是一种常用的监督学习方法。 在分类任务中，使用“投票法”，即选择k个样本中出现最多的类别标记作为预测结果。 在回归任务中，使用“平均法”，将这k个样本的实值输出标记的平均值作为
机器学习基础（八）：降维与度量学习（KNN、MDS、线性降维、PCA、核化线性降维、流形学习、度量学习）
zero_ling
09-29 2033
8、降维与度量学习 8.1 k近邻k-Nearest Neighbor(KNN)学习 常用的监督学习方法，“懒惰学习lazy learning”的代表 给定测试样本，基于某种距离度量找出训练集中与其最靠近的k个训练样本，然后基于这k个邻居的信息来进行预测 通常分类任务中使用“投票法（选择这k个样本中出现最多的类别标记作为预测结果）”，回归任务中使用“平均法”，还可基于距离远近进行加权平均或加权投票，距离越近的样本权重越大。 条件：假设任意测试样本x附近任意小的δ离范围内总能找到一个训练样本，即训练样本的采
机器学习-第十章
最新发布
2501_93830367的博客
11-02 456
1.欠拟合和高偏差 2.正合适 3.过拟合和高方差。
机器学习之降维与度量学习
weixin_44153121的博客
02-21 610
线性降维方法假设从高维空间到低维空间的函数映射是线性的。k 近邻(k-Nearest Neighbor)学习是一种常用的监督学习方法，使用某种距离算法找到K个最近的样本，基于K个邻居进行预测（近朱者赤近墨者黑）。主成分分析(Principal Component Analysis)是最常用的一种降维方法，用于提取数据的主要特征分量。主成分分析是一种无监督的线性降维方法，有监督线性降维方法最著名的是线性判别分析(LDA)。
机器学习---降维与度量学习
weixin_43961909的博客
12-31 1462
通过某种映射到欧氏空间的一个点，并利用欧氏空间的良好性质在其中进行学习器的训练。支，通过有标记样本或结合未标记样本，寻找一个能够在给定指标下最恰当刻画样本相似度的距离。量学习的主要思想是，利用标注数据学习一个度量矩阵，对样本进行映射变换，使得在变换后的度。量空间中，同类样本之间的距离变小，异类样本之间的距离变大，或使得相似的样本距离变小，不。利用携带标注信息的训练数据进行距离度量学习，能更好的降低“语义鸿沟”的影响。当前样本相似度的距离度量，能够大大提高学习器的性能。利用了标注样本，也利用了未标注样本。
机器学习--降维与度量学习
YChanging的博客
05-22 618
维数灾难：高维数据情形下出现的数据样本稀疏，距离计算困难等问题是所有机器学习方法共同面临的严重障碍，被称为维数灾难。 降维：亦称维数约简，即通过某种数学变换将原始高维属性空间转变为一个低维“子空间”，在这个子空间样本密度大幅提高，距离计算也变得更为容易。 多维缩放（MDS）：要求原始空间样本之间的距离在低维空间中得以保持。 线性降维方法：z = w’X 主成分分析（PCA）：是最常用的一种...
《机器学习》周志华(西瓜书)学习笔记 第十章 降维与度量学习
sdm12345的博客
07-10 3242
机器学习 总目录 第十章 降维与度量学习 10.1 K近邻学习 k近邻学习是一种监督学习算法，在给定的训练样本集中，基于某种距离度量，找出与训练集最靠近的kkk个训练样本，然后基于这k个邻居信息来进行预测。 投票法：通常在分类任务中使用，判别方法是选择这kk个样本中出现最多的类别标记作为预测结果。 平均法：通常在回归任务中使用，判别方法是将这kk个样本的实值输出标记的平均值最为预测结果。 加权平...
周志华《机器学习》——降维与度量学习
zzmmhxs的博客
03-19 553
有些数据集是包含非常多的属性的，这使得后续数据处理和计算非常困难。因此需要对数据进行降维，需要找到一种合理的方法，在减少需要分析的属性同时，尽量减少信息的损失。由于各变量之间存在一定的相关关系，因此可以考虑将关系紧密的变量变成尽可能少的新变量，使这些新变量是两两不相关的，那么就可以用较少的综合指标分别代表存在于各个变量中的各类信息。 根据对降维后数据的要求不同，有如下几种常用的数据降维方法： 1、MDS MDS降维后的数据满足，从原始空间D到d维空间后，样本两两间距不变。 2、线性变换 是一种..
精选资源
周志华《机器学习》代码练习.zip
04-16
机器学习与计算统计学密切相关，计算统计学侧重于使用计算机进行预测。算法优化的研究为机器学习领域提供了方法、理论和应用领域。数据挖掘是机器学习中的一个研究领域，侧重于探索性数据分析到无监督学习。[3][4]在...
Datawhale打卡周志华机器学习第四章
09-21
Datawhale打卡周志华机器学习第四章
机器学习-第十章降维与度量学习
11-22
k-近邻学习是一种常用的监督学习方法，其工作机制非常简单：给定测试样本，基于某种距离度量找出训练集中与其靠近的......
降维与度量学习.pptx
09-18
降维与度量学习.pptx
降维与度量学习
tt丫的博客
10-22 1643
缓解维数灾难的一个重要途径就是降维，即通过某种数学变换将原始高维空间转变到一个低维的子空间。这样在子空间中样本密度就会增大，距离计算也会比之前简单。一个度量（距离函数）是一个定义集合中元素之间距离的函数。一个具有度量的集合被称为度量空间。度量学习即相似度学习。
机器学习方法篇(28)------降维和度量学习
对半独白
05-27 1211
● 每周一言 。 导语 在特征提取过程中，有时候会遇到特征维数非常大（维数灾难）的情况，这种情况会带来两个主要问题：一是样本稀疏大大削弱了特征表达能力，二是高维数所带来的庞大计算量。降维和度量学习便是维数灾难的解决之法。那么，究竟什么是降维和度量学习？ 降维和度量学习 首先我们来讲讲这个“维数灾难”。特征维数变大之后，为什么会出现“灾难”？ 不妨举一个例子来直观理解：比如一个分类问题，...
读书笔记-《机器学习》第十章：降维与度量学习
L.Z.的博客
06-28 1068
懒惰学习：在训练阶段仅仅是把样本保存起来，训练时间开销为零，待收到测试样本后再进行处理急切学习：在训练阶段就对样本进行学习处理维数灾难：在高维情形下出现的样本数据稀疏、距离计算困难等问题缓解维数灾难的一个重要途径是降维，亦称“维数简约”，即通过某种数字 变换将原始高维属性空间转变为一个低维“子空间”，在这个子空间中样本密度大幅提高，距离计算也变的更为容易线性降维方法MSD：原始空间中样本之间的距离...
机器学习基础 之 降维与度量学习
具身小站
04-09 578
k临近学习的原理是，对于给定的待测试样本，基于某种距离找出训练集中与其最靠近的k个训练样本，然后基于这k个邻居的属性来进行计算，使用k个邻居的“均值”作为待测试样本的最终分类值。当前分类方法受距离计算原理影响，可能不同的距离会得到不同的分类结果；也收到k的取值影响，可能也会由于k的范围不同得到不同的分类区间...
【周志华机器学习】十、降维与度量学习
weixin_42301220的博客
04-08 1911
文章目录参考资料1. 维数灾难2. K近邻学习（kNN）2.1 分析2.2 KNN最近邻分类算法的过程3. MDS算法 参考资料 Machine-learning-learning-notes LeeML-Notes ML-NLP 本博客是根据周志华的西瓜书和参考资料1、2、3所做的笔记，主要用于学习，非技术类博客，因此存在大量复制粘贴，请见谅。 如果本篇博客有后记部分，则该部分表示的是在书本原有的基础知识上，进行的知识点的扩充。 1. 维数灾难 样本的特征数称为维数（dimensionality
周志华机器学习西瓜书第二章学习笔记
01-24
### 关于周志华《机器学习》（西瓜书）第二章的学习笔记 #### 模型评估与选择概述 模型评估与选择是机器学习领域的重要组成部分，旨在通过合理的方法评价不同模型的表现并挑选最优者。这一过程不仅涉及如何衡量单个模型的好坏，还包括怎样对比多个候选方案以做出最佳决策。 #### 偏差、方差和噪声的概念解析 偏差度量了学习算法的期望预测与实际结果之间的差距，反映了算法自身的拟合精度；方差描述的是相同规模训练集变化引起的学习效果波动情况，体现了数据扰动带来的影响；而噪声则设定了给定任务下所有可能采用的学习方法能达到的最佳预期泛化误差界限，揭示了问题本身固有的复杂性和挑战性[^2]。 #### 性能度量指标——P-R图及其应用 为了更直观地展示各类分类器的工作特性，通常会绘制精确率-召回率(Precision-Recall, P-R)曲线来辅助分析。当面对多组实验结果时，可以通过观察这些图形相互间的位置关系来进行优劣评判：如果某条曲线始终位于另一条之上，则表明前者具有更好的整体表现；而对于那些存在交点的情况，则需进一步计算各自下方区域面积大小作为判断依据之一。此外，“平衡点”作为一种特殊的性能测度，在特定条件下也能提供有价值的参考信息[^3]。 #### 偏差-方差分解理论简介 该理论为理解学习算法的一般化能力提供了框架性的指导思路，通过对平均测试错误率实施拆分操作，可以深入剖析导致过拟合现象背后的原因所在，并据此探索改进措施的方向。具体而言，总误差由三部分构成——不可约减误差点（即噪声）、平方形式表达出来的偏差项以及线性累加而成的方差成分[^4]。 ```python import numpy as np from sklearn.model_selection import train_test_split from sklearn.metrics import precision_recall_curve, auc def evaluate_model_performance(model, X, y): """ 计算并返回PR曲线下面积(AUC)，用于量化模型的整体性能。 参数: model (object): 已经训练好的分类模型实例。 X (array-like of shape (n_samples, n_features)): 测试特征矩阵。 y (array-like of shape (n_samples,)): 对应的真实标签向量。 返回: float: PR AUC得分。 """ # 划分训练集/验证集 X_train, X_val, y_train, y_val = train_test_split(X, y, test_size=0.2) # 使用训练集拟合模型 model.fit(X_train, y_train) # 获取验证集中各观测对应的概率估计值 probas_pred = model.predict_proba(X_val)[:, 1] # 绘制PR曲线并求得AUC分数 precisions, recalls, _ = precision_recall_curve(y_val, probas_pred) pr_auc_score = auc(recalls, precisions) return pr_auc_score ```
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值