【台大李宏毅ML课程】Lecture 13 Unsupervised Learning——Linear Dimension Reduction笔记

最新推荐文章于 2023-04-26 18:45:17 发布
原创 最新推荐文章于 2023-04-26 18:45:17 发布 · 1.2k 阅读 · 4 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

这节课详细介绍了线性降维方法，包括cluster中的k-means和HAC，以及PCA的两种解释：最大方差原理和最小化误差原理。PCA与LDA、NMF进行了对比，并探讨了矩阵分解在推荐系统中的应用。

本节课主要讲了两种线性降维的方法——cluster和PCA，并从两个角度解释了PCA。最后讲了一些关于矩阵分解的知识。

1.cluster

cluster就简单的带过了，主要是k-means和HAC

k-means原理：
（1）先初始化k个中心点ci (i=1,….,k)
（2）如果样本x离ci更近，就划分到第i类
（3）更新每个类别的中心点
（4）重复（2）（3）

如何选择K是个问题~

HAC（Hierarchical Agglomerative Clustering ）原理
类似于建立一棵树，每个节点都设置一个阈值

2.PCA（Principle Component Analysis）

PCA降维原理可以从两个来考虑
一是基于最大方差原理，样本点在这个超平面上的投影尽可能分开。
二是基于最小化误差原理，样本点到这个超平面距离都足够近。

2.1基于最大方差原理

（1）需要找到一个投影矩阵W，使得x在W上的投影方差尽可能的大，其中W是由很多个向量组成（w1,w2,w3,…），希望x在w1上投影的方差最大，w2上投影的方差其次……以此类推
这里写图片描述

（2）并且，W是一个单位正交矩阵，即（w1,w2,w3,…）相互正交，且都是单位向量

最低0.47元/天 解锁文章
【李宏毅机器学习笔记】 12、Unsupervised Learning - Linear Methods
ACL_lihan的博客
02-23 806
【李宏毅机器学习笔记】1、回归问题（Regression） 【李宏毅机器学习笔记】2、error产生自哪里？ 【李宏毅机器学习笔记】3、gradient descent 【李宏毅机器学习笔记】4、Classification 【李宏毅机器学习笔记】5、Logistic Regression 【李宏毅机器学习笔记】6、简短介绍Deep Learning 【李宏毅机器学习笔记】7、反向传播...
2020李宏毅学习笔记——42.Unsupervised learning Linear Methods下
weixin_44554337的博客
07-06 436
1.PCA – Another Point of View 另外一种解释方法就是，用多个component来线性表示原来的样本，最小化reconstruction error， 最后利用svd求解方程，得到的U矩阵就是协方差矩阵的k个特征向量 2.PCA和network之间的关系： 由于w之间时互相正交的，CK,也就是说c可以表示成这两者的乘积，PCA由此呢，也可以看成是Autoencoder，即具有一层隐含层的神经网络（线性激活函数），即输入和输出之间的误差越小越好。如果不是传统的PCA的方法，只用n
Dimension Reduction A Guided Tour
09-04
Dimension Reduction A Guided Tour give a tutorial overview of several foundational methods for dimension reduction. We divide the methods into projective methods and methods that model the manifold on which the data lies. For projective methods, we review projection pursuit, principal component analysis (PCA), kernel PCA, probabilistic PCA, canonical correlation analysis (CCA), kernel CCA, Fisher discriminant analysis, oriented PCA, and several techniques for sufficient dimension reduction. For the manifold methods, we review multidimensional scaling (MDS), landmark MDS, Isomap, locally linear embedding, Laplacian eigenmaps, and spectral clustering
台大李宏毅Machine Learning 2017Fall学习笔记 (14)Unsupervised Learning:Linear Dimension Reduction
Allenlzcoder的博客
01-18 772
台大李宏毅Machine Learning 2017Fall学习笔记 (14)Unsupervised Learning:Linear Dimension Reduction本博客整理自： http://blog.youkuaiyun.com/xzy_thu/article/details/70158829 Unsupervised Learning有两种: 1)化繁为简(Clustering & Dim
李宏毅学习笔记23.Unsupervised Learning.01: Linear Dimension Reduction
老毛的博客
06-30 901
非监督学习分为两大类：Clustering & Dimension Reduction 和Generation，这节主要是讲前者中的Dimension Reduction（Linear Methods），对PCA进行了重点讲解。
李宏毅机器学习24—Unsupervised learning-linear methods
weixin_57178683的博客
06-06 420
摘要：这节课主要讲无监督学习中线性模型的知识 无监督学习主要分成两类：一类是降维、聚类。一类是生成。 聚类顾名思义就是将具有相同特征的数据分为一类，主要有两种方法：1.K-mean，2.HAC 降维是指将一个事务从高纬度降低到低纬度，方便计算。降维也是讲了两种方法：1.featureselection，2.PCA PCA（主成分分析）是整节课的重点，简单来说，就是将数据投影到方差更大的方向上。 从另一个角度来看，一张图片可以视为由多个component组成的，可以发现这里的component就是.
13、【李宏毅机器学习（2017）】Unsupervised Learning: Linear Dimension Reduction（无监督学习：线性降维）
Jimmyzqb的博客
08-29 4383
在前面的博客中介绍了监督学习和半监督学习，本篇博客将开始介绍无监督学习。 目录 无监督学习介绍 监督学习、半监督学习、无监督学习 无监督学习的用处 聚类（Clustering） K均值聚类 Hierarchical Agglomerative Clustering (HAC) 降维（ Dimension Reduction） Feature selection Principl...
2020李宏毅学习笔记——11.Unsupervised Learning： Linear Methods（无监督学习）
weixin_44790306的博客
07-04 1196
文章目录摘要1. Introduction（介绍）2.Clustering（聚类）2.1 K-means2.2 HAC3. Dimension Reduction（降维）3.1 How to do Dimension Reduction？3.2 Principle component analysis(PCA)3.2.1 PCA for 1-D 摘要 1. Introduction（介绍） 无监督学习可以分为两大类： 第一类：化繁为简 聚类(Clustering) 降维(Dimension Reduc
李宏毅机器学习——学习笔记（16） Unsupervised Learning——Deep generative models
m0_37757740的博客
04-08 396
Generative models： （1）Pixel RNN:根据前面的pixel，输出下一个pixel。这种方式可以收集大量的图片进行无监督训练，训练网络。通过部分的图像就可以预测后面的图像。 如果直接进行训练的话，RGB的值都会偏向于中间点，图像呈现灰色或者棕色。可以直接用one-hot编码的形式，让整个网络产生一个颜色（红色，黄色，蓝色…）。将相似的颜色用一个颜色来表示。 （2）Va...
李宏毅机器学习——学习笔记（12） Un-supervised Learning-Linear methods
m0_37757740的博客
04-03 533
Un-supervised Learning 分为两类： （1）聚类 & 降维（化繁为简）：将多个输入抽象成一种类型 （2）Generation（无中生有）：输入一个code，得到一个样本 聚类中最常用的方法有： （1）k-means：a.随机初始化k个类的中心点；b.每个样本以最靠近的中心点的所属类为类标签；c.根据新得到的分类更新中心点；d.重复步骤b、c，直到模型收敛。 （2）Hi...
Dimension reduction:PCA
浪不虚传
05-09 327
Principal Components Analysis(PCA) PCA算法的步骤 a. 计算样本集的协方差矩阵S     S的值表示样本之间的相关性，大于0说明是正相关；小于0，说明是负相关；等于0，说明相互独立，不相关 b. 计算S的特征向量和特征值，按从大到小排序。 c.  设置要映射的低维空间维数k，取前k个特征值对应的特征向量作为降为的结果。   为什么选用协方差矩阵...
Dimension reduction:ICA
浪不虚传
05-10 407
Independent Components Analysis (ICA) PCA的基本思想是在特征空间中寻找一些方向，使得在新的方向上表示数据的误差平方和最小。 ICA的基本思想是在特征空间中寻找最能使得数据相互独立的方向，所以普遍用于盲信号分离。 所以降维的结果每一维属性之间都相互独立。   ICA算法的步骤 a. 假设训练样本X(t) b. 降维后的样本为S(t)...
2020李宏毅学习笔记——41.Unsupervised learning Linear Methods
weixin_44554337的博客
07-05 383
s
李宏毅 DeepLearning-2017-Unsupervised Learning PCA-linear Dimension Reduction
zjguilai的博客
05-11 300
化繁为简：把比较复杂的input变成比较简单的output 无中生有：generation 找个可以画图的function 降维表达的意义： 不同的image用同一个cluster,做降维处理，那么如何确定设置多少个cluster呢？？？ 第一把输入数据分成K个cluster 每个cluster都找一个center，作为初始center,(k random Xn from X)从train ...
[机器学习入门] 李宏毅机器学习笔记-14 （Unsupervised Learning: Linear Dimension Reduction；无监督学习：线性降维）
Holeung blog
06-15 3253
[机器学习入门] 李宏毅机器学习笔记-14 （Unsupervised Learning: Linear Dimension Reduction；线性降维） PDF VIDEOUnsupervised Learning 把Unsupervised Learning分为两大类： 化繁为简：有很多种input，进行抽象化处理，只有input没有output 无中生有：随机给一
Linear Dimension Reduction
nini_k的博客
10-09 280
在概率论和统计学中，协方差用于衡量两个变量的总体误差。而方差是协方差的一种特殊情况，即当两个变量是相同的情况。 [1] 期望值分别为E[X]与E[Y]的两个实随机变量X与Y之间的协方差Cov(X,Y)定义为： ...
Lecture 8(Extra Material)：Dimension Reduction
zzz_qing的博客
04-26 775
Dimension Reduction（来源）：降维或降维是将数据从高维空间转换到低维空间，以便低维表示保留原始数据的一些有意义的属性，理想情况下接近其intrinsic dimension。由于许多原因，在高维空间中工作是不可取的。由于维数灾难，原始数据通常是稀疏的，并且分析数据通常在计算上是难以处理的(难以控制或处理)。方法通常分为线性方法和非线性方法，也可以分为特征选择和特征提取。降维可以用于降噪、数据可视化、聚类分析，或作为促进其他分析的中间步骤。
李宏毅ML作业一
Grateful_Dead424的博客
12-07 1671
train.csv test.csv 任务目标 输入：9个小时的数据，共18项特征（AMB_TEMP, CH4, CO, NHMC, NO, NO2, NOx, O3, PM10, PM2.5, RAINFALL, RH, SO2, THC, WD_HR, WIND_DIREC, WIND_SPEED, WS_HR） 输出：第10小时的PM2.5数值 模型：线性回归 任务解答 # 丢弃前两列，需要的是从第三列开始的数值 data = data.iloc[:, 3:].
15、【李宏毅机器学习（2017）】Unsupervised Learning: Neighbor Embedding（无监督学习：邻域嵌套）
Jimmyzqb的博客
08-29 4170
上一篇博客介绍了无监督学习在文字中的降维方法——Word Embedding，本篇博客将继续介绍无监督学习算法的降维方法——Neighbor Embedding。 目录 Locally Linear Embedding (LLE) Laplacian Eigenmaps T-distributed Stochastic Neighbor Embedding (t-SNE) t-SNE算...
台大李宏毅机器学习课程PPT资料下载
台湾大学对机器学习的研究与教学具有较高水平，李宏毅作为该校教师，其制作的PPT很可能反映了台大在该领域的教学标准和质量。描述中还提到内容为“上课ppt”，这意味着PPT文件很可能是为大学课程准备的教学材料。...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值