白板机器学习笔记 P22-P27 PCA降维

最新推荐文章于 2023-03-26 13:20:47 发布
原创 最新推荐文章于 2023-03-26 13:20:47 发布 · 495 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文深入探讨了PCA的几何理解，包括立方体内接球和套球体积占比，以及如何通过中心矩阵和协方差矩阵来解决过拟合。讲解了最大投影方差和最小重构代价的计算过程，并揭示了PCA与SVD、PCoA的关系。从概率角度和实际应用角度解析了PCA在主坐标分析中的角色。

视频地址：https://www.bilibili.com/video/BV1aE411o7qd?p=22
笔记地址：https://www.yuque.com/books/share/f4031f65-70c1-4909-ba01-c47c31398466/kg2npf

P22 降维1 - 背景
在这里插入图片描述
本节内容：用 立方体内接球体积占比 和 套球体环形带体积占比 两个例子，从几何角度阐述了维度灾难。

维度灾难的几何理解：
https://zhuanlan.zhihu.com/p/27488363

解决过拟合问题的方法：①增加数据 ②正则化 ③降维。

降维的分类方法：
①直接降维：特征选择 / Lasso导致的参数稀疏
②线性降维：PCA / MDS
③非线性降维：流型

P23 降维2 - 样本均值&样本方差矩阵
在这里插入图片描述
本节内容：将协方差矩阵推导成中心矩阵H的形式。

中心矩阵H的形式：
在这里插入图片描述

中心矩阵H的性质：
①H是实对称矩阵，也自然是半正定矩阵。HT=H

最低0.47元/天 解锁文章
【机器学习】K-means聚类，升级版，tf-idf+PCA降维+k-means，python
HelenLee
03-02 3345
升级版K-means聚类：tf-idf+PCA降维+k-means，代码传送门： # coding:utf-8 # 2.0 使用jieba进行分词,彻底放弃低效的NLPIR,用TextRank算法赋值权重(实测textrank效果更好) # 2.1 用gensim搞tfidf # 2.2 sklearn做tfidf和kmeans # 2.3 将kmeans改成BIRCH,使用传统tfidf...
机器学习笔记－－降维 PCA－－基于鸢尾花数据集
qq_39011567的博客
10-21 2243
1.数据集 使用skleaen.datasets自带的鸢尾花数据集进行PCA降维 首先，导入IRIS鸢尾花数据集： from sklearn.datasets import load_iris 其次，对鸢尾花数据集进行探索： iris = load_iris() X = iris.data y = iris.target iris.data是一个四维的数据集，iris.target...
降维基础知识（样本均值、样本方差、中心矩阵）与PCA（最大投影方差，最小重构代价，SVD分解）
热门推荐
KI的博客
07-30 10万+
降维分为三种：特征选择、线性降维和非线性降维。本文主要介绍一些关于降维的基本知识以及线性降维的典例PCA（主成分分析法）
协方差及中心矩阵
qq_23100417的博客
04-12 3154
最近在看迁移学习的早期文章, 在求解优化问题时, 经常会涉及到中心矩阵(centering matrix). 由于之前没怎么遇到过, 故总结于此. 定义 先从多维随机变量的协方差矩阵讲起. 假设我们观察到nn个样本X=[x1,x2,⋯,xn]∈Rp×nX=[x1,x2,⋯,xn]∈Rp×n，其中每个样本有pp维特征 (即pp个随机变量),xi=[xi1,⋯,xip]⊤∈Rp×1xi=[xi1,⋯,xip]⊤∈Rp×1. 我们往往需要计算各维度两两之间的协方差，这样各协方差组成了一...
数学基础理论
m0_55196097的博客
03-26 2506
中心化矩阵（Centering Matrix）是一种用于线性代数和多元分析中的正方形矩阵。它是一种矩阵，用于将数据矩阵中的列居中，即通过转换矩阵，使数据矩阵的每一列均值为零。通常，中心化矩阵被定义为 I - (1/n)J，其中 I 是单位矩阵，n 是数据矩阵的行数或列数，J 是所有元素都为 1 的矩阵。所得到的中心化矩阵具有对称性和幂等性，也就是说，当它与自己相乘时，会产生相同的矩阵。中心化矩阵在各种应用中都有广泛的使用，包括主成分分析、因子分析和回归分析等。
UnicodeDecodeError: 'gbk' codec can't decode byte 0x80 in position 205: illegal multibyte sequence
Young_Fan
04-10 7912
python读取文件时提示"UnicodeDecodeError: ‘gbk’ codec can’t decode byte 0x80 in position 205: illegal multibyte sequence" 解决办法1. FILE_OBJECT= open(‘order.log’,‘r’, encoding=‘UTF-8’) 解决办法2. FILE_OBJECT= ope...
中心矩阵（
wwenddy的博客
07-23 2014
#include<stdio.h> int main(){ int n,i,j,k; int a[1000][1000]={0}; scanf("%d",&n); int max=(n+1)/2; for(i=1;i<=n;i++) for(j=1;j<=n;j++) { for(k=1;k<=max;k++) { ...
人工智能机器学习-主成分分析PCA降维
最新发布
09-17
人工智能机器学习-主成分分析PCA降维-MATLAB代码实现 主成分分析（PCA）是一种常用的数据降维技术，通过找到数据中方差最大的方向来实现数据的降维，同时保留数据的主要信息。PCA将原始数据转换为一组新的变量，称为...
PCA+SVM.rar_LibSVM_ORL人脸数据集_PCA-SVM_pca降维_基于PCA和SVM的人脸识别
09-21
PCA+SVM.rar是一个关于机器学习领域中人脸识别技术的压缩包，其中主要包含了使用主成分分析（PCA）进行特征降维以及支持向量机（SVM）进行分类的实践应用。这个压缩包的内容针对的是ORL人脸数据集，这是一个常用的...
无监督学习PCA降维处理和K-means聚类
01-20
– 主成分分析PCA降维处理 聚类： – K-means（k均值聚类） 2、主成分分析 应用PCA实现特征的降维 ·定义：高维数据转化为低维数据的过程，在此过程中可能会舍弃原有数据、创造新的变量 ·作用：是数据维散压缩，尽...
matlab矩阵中心化的详细方法
12-02
详细介绍了matlab矩阵中心化的具体方法
机器学习中的数学(2)——矩阵中心化、标准化的意义和作用
Lavi的专栏
08-25 4万+
矩阵中心化和标准化的意义
TCA笔记4:TCA代码笔记
越开源越幸运
10-16 5450
目录 调用流程与各函数作用 TCA计算过程 X归一化 计算L矩阵 计算中心矩阵矩阵H 计算核矩阵K 计算矩阵的特征值和特征向量 求特征变换矩阵A 求样本X在隐空间映射的点 本文为对TCA开源代码的详细阅读分析. TCA代码的调试见: https://blog.youkuaiyun.com/lagoon_lala/article/details/120514427 TCA计算过程的公式见: https://blog.youkuaiyun.com/lagoon_lala/article/details/12
开源配置中心对比矩阵
冯三思
10-09 3269
协方差矩阵，埃尔米特矩阵，中心块矩阵，正定矩阵
sinat_33153399的博客
12-19 2572
整理自百度百科 数学都还给老师们了。。。。 1.协方差矩阵 在统计学与概率论中，协方差矩阵的每个元素是各个向量元素之间的协方差，是从标量随机变量到高维度随机向量的自然推广。 协方差矩阵为非负定矩阵 协方差矩阵可用来表示多维随机变量的概率密度，从而可通过协方差矩阵达到对多维随机变量的研究。以二维随机变量    为例，由于   引入矩阵   ，
方阵的迹（trace）及其微分（导数）
11-24 2万+
1. 基本性质 Tr(A)=Tr(AT)\text{Tr}(\mathrm A)=\text{Tr}(\mathrm A^T) Tr(ABC)=Tr(BCA)=Tr(CAB)\text{Tr}(\mathrm {ABC})=\text{Tr}(\mathrm {BCA})=\text{Tr}(\mathrm {CAB}) 因此如果 A\mathrm A 和 C\mathrm C 互逆的话，三者相乘
PCA和矩阵
lv_tianxiaomiao的博客
03-14 1077
PCA就是主成分分析，这是个无监督的数据处理过程 目的是把原有的数据降低到一个比较小的维度，便于后续的处理 整个过程的理论是： 原有m个样本，每个样本为n维向量，那么可组成一个n*m的矩阵S 找到一个矩阵A，将上面的样本矩阵映射到A中，假设A为k*n的矩阵 矩阵映射过程就是A矩阵左乘S矩阵得到矩阵E， 那么E为k*m的矩阵 如果k
【机器学习】【PCA-1】PCA基本原理和原理推导 + PCA计算步骤讲解 + PCA实例展示数学求解过程
蔚蓝的天空Tom
05-26 3万+
1.PCA主成分分析原理2.PCA流程3.PCA实例讲解(end)
理解各种聚类算法的差异
LiPan的博客
12-04 2324
参考 https://blog.youkuaiyun.com/weixin_38197294/article/details/82289367 感觉上边这篇博客对聚类方法总结的非常好，尤其是他把不同聚类方法的差异总结为两点，一下子把混乱复杂的那么多聚类方法纳入到一个统一的视角下了，非常厉害。我这里把他的大纲摘抄出来便于理解，需要查看具体某一项对应哪些经典算法的，可以到上边链接里去看。 聚类算法的差异主要在于两点： 一是相似性衡量的标准不一样（同样的两个样本，衡量标准不同显然最后判断出的相似程度也不同。一个算法认为这.
Coursera机器学习K-Means聚类与PCA降维编程详解
K-Means聚类与主成分分析（PCA）是机器学习领域中两种极为重要的无监督学习算法，广泛应用于数据挖掘、图像处理、模式识别和大数据分析等多个领域。在Coursera的“Machine Learning”课程第八周的内容中，ex7实验...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值