主成分分析法（PCA方法）的理论与代码实现

原创 已于 2022-04-02 09:57:02 修改 · 1k 阅读 · 7 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#python

于 2022-03-31 17:25:25 首次发布

序

这个，怎么实现？

不知道，这是个数学问题，还是个编程问题。

找了个网页：

http://blog.codinglabs.org/articles/pca-tutorial.htmlhttp://blog.codinglabs.org/articles/pca-tutorial.html网页不咋生动，又找了个视频：

https://www.bilibili.com/video/BV1E5411E71z?spm_id_from=333.337.top_right_bar_window_custom_collection.content.clickhttps://www.bilibili.com/video/BV1E5411E71z?spm_id_from=333.337.top_right_bar_window_custom_collection.content.click

作为一个小小白，脑子也不好使。对于学习这件事，也不指望学会，不指望全如意；你自己尽力，有个半称心就行了。

实在学不会，被别人拿去笑话一下，给别人长一点自信，当个搞笑角色，也不错嘛——有输入，总会有点输出的嘛。

下面是视频里的截图。

理论介绍

PCA的目的

 PCA的过程全览

一些  预备内容

矩阵变换的介绍

拉伸

 旋转

 PCA的过程，其实是可逆的，互逆的。

拉伸：决定了方差最大的方向是横还是纵

旋转：决定了方差最大的方向的角度

 关键是求R，R是什么？

 

 

 

 协方差矩阵的公式：（因为去中心化了，所以平均值都是0，公式里就没这一项了）

 根据上面那个公式，推到D'的协方差矩阵：

S是个对角阵，转不转置，结果一样

 D‘的协方差矩阵，的特征向量

根据矩阵的特征向量的定义可得：

 按矩阵乘法的规则组合一下

 两个一列的向量可以用一个两列的向量来代替的。

拿东西，分为开门，拿，关门；三个步骤。一个行为有开门，拿，关门，三个步骤，所以这个行为叫拿东西。

变个形，发现这个推导出来的R，和旋转的那个R，是一个玩意。

RLR^{-1}=RLR^{-1}=C{}'

 所以，那俩特征向量，就是两个主成分的方向，这个信息在R里。

那俩特征值，表示沿着两个主成分被拉伸的程度，这个信息在L里。

 怪不得要找最大的特征值。 

 L是是在R'这组基下的协方差矩阵吧？？

 大概就这样吧……

借助numpy的编程实现

那末，怎么编程求这个所谓的协方差矩阵的两个特征值和特征向量啊？

找了个参考的链接，里面有代码的。

https://gitee.com/ni1o1/pygeo-tutorial/blob/master/12-.ipynbhttps://gitee.com/ni1o1/pygeo-tutorial/blob/master/12-.ipynb

实现的话，缺少一些numpy方面的知识。那就去调查研究一下嘛：

作为一个小小白，从几个简单例子开始吧

第一段

import numpy as np
np.random.seed(0)#随机数种子
data = np.random.uniform(1,10,(10,2))
print(data)

 输出结果

参考链接

numpy的seedhttps://blog.youkuaiyun.com/qq_34840129/article/details/86096803?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522164873185016780261914117%2522%252C%2522scm%2522%253A%252220140713.130102334..%2522%257D&request_id=164873185016780261914117&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2~all~sobaiduend~default-2-86096803.142%5Ev5%5Epc_search_insert_es_download,143%5Ev6%5Eregister&utm_term=numpy.random.seed&spm=1018.2226.3001.4187【Numpy】中np.random.uniform()函数用法https://blog.youkuaiyun.com/lemonxiaoxiao/article/details/109244755?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522164873203116780264067624%2522%252C%2522scm%2522%253A%252220140713.130102334..%2522%257D&request_id=164873203116780264067624&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2~all~top_click~default-1-109244755.142%5Ev5%5Epc_search_insert_es_download,143%5Ev6%5Eregister&utm_term=np.random.uniform&spm=1018.2226.3001.4187

第二段

import numpy as np
np.random.seed(0)#随机数种子
data = np.random.uniform(1,10,(10,2))
data[:,1:] = 0.5*data[:,0:1]+np.random.uniform(-2,2,(10,1))
print(data)

 参考链接

Numpy.array中[:]和[::]的区别https://blog.youkuaiyun.com/zhuqiang9607/article/details/83903487?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522164873302316780357253756%2522%252C%2522scm%2522%253A%252220140713.130102334..%2522%257D&request_id=164873302316780357253756&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2~all~sobaiduend~default-1-83903487.142%5Ev5%5Epc_search_insert_es_download,143%5Ev6%5Eregister&utm_term=numpy+%3A&spm=1018.2226.3001.4187numpy 数组X[:,0]和X[:,1]的详解https://blog.youkuaiyun.com/doubledog1112/article/details/85095571?ops_request_misc=&request_id=&biz_id=&utm_medium=distribute.pc_search_result.none-task-blog-2~all_pay~es_rank~default-2-85095571.142%5Ev5%5Epc_search_insert_es_download,143%5Ev6%5Eregister&utm_term=numpy+%5B%3A%5D&spm=1018.2226.3001.4187python中数组切片含义解析https://blog.youkuaiyun.com/weixin_44676142/article/details/109457879?spm=1001.2101.3001.6661.1&utm_medium=distribute.pc_relevant_t0.none-task-blog-2~default~CTRLIST~Rate-1.pc_relevant_aa&depth_1-utm_source=distribute.pc_relevant_t0.none-task-blog-2~default~CTRLIST~Rate-1.pc_relevant_aa&utm_relevant_index=1

第三段

# 计算以下数据的协方差矩阵
import numpy as np
np.random.seed(0)#随机数种子
data = np.random.uniform(1,10,(10,2))
data[:,1:] = 0.5*data[:,0:1]+np.random.uniform(-2,2,(10,1))

#去中心化
data_norm = data-data.mean(axis = 0)#axis = 0：压缩行，对各列求均值，返回 1* n 矩阵
print(data_norm)

numpy中的mean()函数https://blog.youkuaiyun.com/lilong117194/article/details/78397329?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522164873387416782094885028%2522%252C%2522scm%2522%253A%252220140713.130102334..%2522%257D&request_id=164873387416782094885028&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2~all~sobaiduend~default-1-78397329.142%5Ev5%5Epc_search_insert_es_download,143%5Ev6%5Eregister&utm_term=numpy+mean&spm=1018.2226.3001.4187

第四段

# 计算以下数据的协方差矩阵
import numpy as np
np.random.seed(0)#随机数种子
data = np.random.uniform(1,10,(10,2))
data[:,1:] = 0.5*data[:,0:1]+np.random.uniform(-2,2,(10,1))

#去中心化
data_norm = data-data.mean(axis = 0)#axis = 0：压缩行，对各列求均值，返回 1* n 矩阵
#print(data_norm)

X = data_norm[:,0]
Y = data_norm[:,1]

# 定义一个函数，输入X，Y能得到X，Y之间的协方差
def getcov(X,Y):
    covxy = ((X-X.mean())*(Y-Y.mean())).sum()/(len(X)-1)
    return covxy

print (getcov(X,X))#这里求的是X的方差
print(getcov(Y,Y))#Y的方差
print(getcov(X,Y))#协方差

 第五段

# 计算以下数据的协方差矩阵
import numpy as np
np.random.seed(0)#随机数种子
data = np.random.uniform(1,10,(10,2))
data[:,1:] = 0.5*data[:,0:1]+np.random.uniform(-2,2,(10,1))

#去中心化
data_norm = data-data.mean(axis = 0)#axis = 0：压缩行，对各列求均值，返回 1* n 矩阵
#print(data_norm)

X = data_norm[:,0]
Y = data_norm[:,1]

# 定义一个函数，输入X，Y能得到X，Y之间的协方差
def getcov(X,Y):
    covxy = ((X-X.mean())*(Y-Y.mean())).sum()/(len(X)-1)
    return covxy

print (getcov(X,X))#这里求的是X的方差
print(getcov(Y,Y))#Y的方差
print(getcov(X,Y))#协方差

#numpy自带了协方差矩阵的计算方法，验证一下
C = np.cov(data_norm.T)#为什么要转置？
print(C)

 为什么要转置一下？

官方文档里这么说的

 这还有个中文翻译版的官方文档：

Numpy入门(十)：np.cov()用法https://blog.youkuaiyun.com/weixin_46348799/article/details/108963194?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522164873551916780274141001%2522%252C%2522scm%2522%253A%252220140713.130102334..%2522%257D&request_id=164873551916780274141001&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2~all~top_click~default-1-108963194.142%5Ev5%5Epc_search_insert_es_download,143%5Ev6%5Eregister&utm_term=np.cov&spm=1018.2226.3001.4187

第六段

受上面那个中文翻译版的官方文档的启发，摸索了一下：

结果一样的。

# 计算以下数据的协方差矩阵
import numpy as np
np.random.seed(0)#随机数种子
data = np.random.uniform(1,10,(10,2))
data[:,1:] = 0.5*data[:,0:1]+np.random.uniform(-2,2,(10,1))

#去中心化
data_norm = data-data.mean(axis = 0)#axis = 0：压缩行，对各列求均值，返回 1* n 矩阵
#print(data_norm)

X = data_norm[:,0]
Y = data_norm[:,1]

# 定义一个函数，输入X，Y能得到X，Y之间的协方差
def getcov(X,Y):
    covxy = ((X-X.mean())*(Y-Y.mean())).sum()/(len(X)-1)
    return covxy

print (getcov(X,X))#这里求的是X的方差
print(getcov(Y,Y))#Y的方差
print(getcov(X,Y))#协方差

#numpy自带了协方差矩阵的计算方法，验证一下
C = np.cov(data_norm.T)#为什么要转置？因为一个参数表示一个变量，所以要把10*2转置成2*10
print(C)

C=np.cov(data_norm,rowvar=False)## 此时列为变量计算方式 即X为列，Y也为列
print(C)

第七段 

然后，这个协方差矩阵的特征值和特征向量，怎么算？口算？

# 计算以下数据的协方差矩阵
import numpy as np
np.random.seed(0)#随机数种子
data = np.random.uniform(1,10,(10,2))
data[:,1:] = 0.5*data[:,0:1]+np.random.uniform(-2,2,(10,1))

#去中心化
data_norm = data-data.mean(axis = 0)#axis = 0：压缩行，对各列求均值，返回 1* n 矩阵

X = data_norm[:,0]
Y = data_norm[:,1]

C=np.cov(data_norm,rowvar=False)## 此时列为变量计算方式 即X为列，Y也为列

#计算特征值和特征向量
vals, vecs = np.linalg.eig(C)
#重新排序，从大到小
vecs = vecs[:,np.argsort(-vals)]
vals = vals[np.argsort(-vals)]

print(vecs)
print(vals)


如何计算方阵的特征值和特征向量np.linalg.eig()https://blog.youkuaiyun.com/qq_38048756/article/details/112543075?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522164873654816781685326133%2522%252C%2522scm%2522%253A%252220140713.130102334..%2522%257D&request_id=164873654816781685326133&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2~all~baidu_landing_v2~default-3-112543075.142%5Ev5%5Epc_search_insert_es_download,143%5Ev6%5Eregister&utm_term=np.linalg.eig&spm=1018.2226.3001.4187

Numpy学习之np.argsort()函数https://blog.youkuaiyun.com/m0_46457700/article/details/109408524?spm=1001.2101.3001.6650.1&utm_medium=distribute.pc_relevant.none-task-blog-2~default~CTRLIST~Rate-1.pc_relevant_default&depth_1-utm_source=distribute.pc_relevant.none-task-blog-2~default~CTRLIST~Rate-1.pc_relevant_default&utm_relevant_index=2【Python语法】X[:,0]和X[:,1] 什么意思？https://blog.youkuaiyun.com/Higan_MM/article/details/90410095?ops_request_misc=&request_id=&biz_id=102&utm_term=%E3%80%90%EF%BC%9A%EF%BC%8C0%E3%80%91&utm_medium=distribute.pc_search_result.none-task-blog-2~all~sobaiduweb~default-0-90410095.nonecase&spm=1018.2226.3001.4187

这是一个手算特征值和计算机算的对比的例子，挺形象的。可以直观的看出，特征向量是按列看的。不是按行看的。

python — numpy计算矩阵特征值，特征向量https://blog.youkuaiyun.com/pentiumCM/article/details/105652853?spm=1001.2101.3001.6661.1&utm_medium=distribute.pc_relevant_t0.none-task-blog-2~default~CTRLIST~TopBlog-1.topblog&depth_1-utm_source=distribute.pc_relevant_t0.none-task-blog-2~default~CTRLIST~TopBlog-1.topblog&utm_relevant_index=1

第八段（小结）

# 计算以下数据的协方差矩阵
import numpy as np
np.random.seed(0)#随机数种子
data = np.random.uniform(1,10,(10,2))
data[:,1:] = 0.5*data[:,0:1]+np.random.uniform(-2,2,(10,1))

#去中心化
data_norm = data-data.mean(axis = 0)#axis = 0：压缩行，对各列求均值，返回 1* n 矩阵

X = data_norm[:,0]
Y = data_norm[:,1]

C=np.cov(data_norm,rowvar=False)## 此时列为变量计算方式 即X为列，Y也为列

#计算特征值和特征向量
#这个返回的特征向量，要按列来看
vals, vecs = np.linalg.eig(C)

#重新排序，从大到小
#默认从小到大排列,这里取负了，就是从大到小排列，返回相应索引
vecs = vecs[:,np.argsort(-vals)]#特征向量按列取，这里就呼应上了
vals = vals[np.argsort(-vals)]

print(vals)
print(vecs)

#第一个特征值对应的特征向量
print(vals[0],vecs[:,0])
#第二个特征值对应的特征向量
print(vals[1],vecs[:,1])

 这个特征向量都是长度单位化以后的。

NumPy.array 求点乘， 向量长度， 向量夹角的方法https://blog.youkuaiyun.com/qq_32424059/article/details/100874358?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522164873936216781685383416%2522%252C%2522scm%2522%253A%252220140713.130102334.pc%255Fall.%2522%257D&request_id=164873936216781685383416&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2~all~first_rank_ecpm_v1~rank_v31_ecpm-1-100874358.142%5Ev5%5Epc_search_insert_es_download,143%5Ev6%5Eregister&utm_term=numpy+%E5%90%91%E9%87%8F%E9%95%BF&spm=1018.2226.3001.4187

 实际应用

怎么实际运用呢？更是一个大问题。这个矛盾解决了那个矛盾又出来了，矛盾也有新陈代谢。没有矛盾就没有世界呐。

第一段

简单测试了一下：

# 计算以下数据的协方差矩阵
import numpy as np

# np.random.seed(0)#随机数种子
# data = np.random.uniform(1,10,(10,2))
# data[:,1:] = 0.5*data[:,0:1]+np.random.uniform(-2,2,(10,1))

#不用随机数了，这次用一个比较实际的例子，来测试PCA准不准
#假设这是一个扁扁的矩形
input=list()
input.append([100,100])
input.append([500,100])
input.append([100,200])
input.append([500,200])
print(input)

#从已有的数组创建数组
data=np.asarray(input)
print(data)

#去中心化
data_norm = data-data.mean(axis = 0)#axis = 0：压缩行，对各列求均值，返回 1* n 矩阵

X = data_norm[:,0]
Y = data_norm[:,1]

C=np.cov(data_norm,rowvar=False)## 此时列为变量计算方式 即X为列，Y也为列

#计算特征值和特征向量
#这个返回的特征向量，要按列来看
vals, vecs = np.linalg.eig(C)

#重新排序，从大到小
#默认从小到大排列,这里取负了，就是从大到小排列，返回相应索引
vecs = vecs[:,np.argsort(-vals)]#特征向量按列取，这里就呼应上了
vals = vals[np.argsort(-vals)]

print(vals)
print(vecs)

#第一个特征值对应的特征向量
print(vals[0],vecs[:,0])
#第二个特征值对应的特征向量
print(vals[1],vecs[:,1])

#计算模长是否为1
print(np.linalg.norm(vecs[:,0]))
print(np.linalg.norm(vecs[:,1]))

 NumPy 从已有的数组创建数组https://www.runoob.com/numpy/numpy-array-from-existing-data.html

 第二段

这一大堆数字，不直观呐。能把结果可视化一下吗？

# 计算以下数据的协方差矩阵
import numpy as np
import matplotlib.pyplot as plt

# np.random.seed(0)#随机数种子
# data = np.random.uniform(1,10,(10,2))
# data[:,1:] = 0.5*data[:,0:1]+np.random.uniform(-2,2,(10,1))

#不用随机数了，这次用一个比较实际的例子，来测试PCA准不准
#假设这是一个扁扁的矩形
input=list()
input.append([100,100])
input.append([500,100])
input.append([100,200])
input.append([500,200])
print(input)

#从已有的数组创建数组
data=np.asarray(input)
print(data)

#去中心化
data_norm = data-data.mean(axis = 0)#axis = 0：压缩行，对各列求均值，返回 1* n 矩阵

X = data_norm[:,0]
Y = data_norm[:,1]

C=np.cov(data_norm,rowvar=False)## 此时列为变量计算方式 即X为列，Y也为列

#计算特征值和特征向量
#这个返回的特征向量，要按列来看
vals, vecs = np.linalg.eig(C)

#重新排序，从大到小
#默认从小到大排列,这里取负了，就是从大到小排列，返回相应索引
vecs = vecs[:,np.argsort(-vals)]#特征向量按列取，这里就呼应上了
vals = vals[np.argsort(-vals)]

print(vals)
print(vecs)

#第一个特征值对应的特征向量
print(vals[0],vecs[:,0])
#第二个特征值对应的特征向量
print(vals[1],vecs[:,1])

#计算模长是否为1
print(np.linalg.norm(vecs[:,0]))
print(np.linalg.norm(vecs[:,1]))


#用画图的方式，画出结果
#设置图大小
size = 600

plt.figure(1,(8,8))

plt.scatter(data[:,0],data[:,1],label='origin data')

i=0
ev = np.array([vecs[:,i]*-1,vecs[:,i]])*size
ev = (ev+data.mean(0))
plt.plot(ev[:,0],ev[:,1],label = 'eigen vector '+str(i+1))

i=1
ev = np.array([vecs[:,i]*-1,vecs[:,i]])*size
ev = (ev+data.mean(0))
plt.plot(ev[:,0],ev[:,1],label = 'eigen vector '+str(i+1))

#plt.plot(vecs[:,1]*-10,vecs[:,1]*10)

#画一下x轴y轴
plt.plot([-size,size],[0,0],c='black')
plt.plot([0,0],[-size,size],c='black')
plt.xlim(-size,size)
plt.ylim(-size,size)
plt.legend()
plt.show()

 

 相关链接

Matplotlib 教程https://www.runoob.com/matplotlib/matplotlib-tutorial.html中间还遇到了点问题：

就是这段没理解好：

print(vecs)

print(vecs[:,0]*-100)
print(vecs[:,0]*100)

plt.plot(vecs[:,0]*-100,vecs[:,0]*100)

 脑子里觉得应该是（-100，0）到（100，0）水平的，结果画出来是这样的：

——plot到底是横着看的还是竖着看的？

 

 又仔细看了下以后，发现都是竖着看的，前面看错了

要是能用动画做出来就好了，图形不断变，主成分轴不断求，不过那玩意不是刚需。暂时忽略。

后记

简单测试，，意思就是复杂点的情况还不知道怎么处理。

多少也算有一点东西出来了，虽然不是什么大的东西。作为一个小小白，已经很不错了。

主成分分析(PCA)简单代码实现（原理待补）
loist91的博客
10-07 1072
简单用代码实现了主成分分析（PCA）原理详解_李春春的专栏-优快云博客_主成分分析中的PCA实例，只是简单实现了数理逻辑，通用性不高。 第一步：计算均值 avrg = np.mean(Data, axis=0) x_avrg = avrg[0] y_avrg = avrg[1] print("Avrg:", x_avrg, y_avrg) for i in range(10): DataAdjust[i, 0] = Data[i, 0] - x_avrg DataAdjust..
主成分分析代码实现
superzzx0920的博客
05-08 6416
如何利用python实现主成分分析法呢？本文给出了详细代码和案例
主成分分析PCA原理以及代码实现
qq_41230076的博客
05-15 1365
主成分分析数据降维问题基变换基基变换矩阵表示协方差矩阵及优化目标方差协方差协方差矩阵协方差矩阵对角化PCA算法实例总结 PCA（Principal Component Analysis）是一种常用的数据分析方法。PCA通过线性变换将原始数据变换为一组各维度线性无关的表示，可用于提取数据的主要特征分量，常用于高维数据的降维。 数据降维问题 实际机器学习中处理成千上万甚至几十万维的情况也并不罕见，在这种情况下，机器学习的资源消耗是不可接受的，因此我们必须对数据进行降维。 降维当然意味着信息的丢失，不过鉴于实际数
主成分分析法的MATLAB代码实现
11-20
主成分分析算法的MATLAB代码实现，可以帮助理解主成分分析算法的计算过程，比直接调用MATLAB函数更利于学习。
主成分分析代码实现及结果解读
2302_76527484的博客
05-09 905
主成分分析的python代码实现与结果可视化
【最全讲解】主成分分析，stata代码操作讲解+matlab代码操作讲解+主成分分析(PCA)理论部分讲解，讲解十分详细哦，
05-04
【最全讲解】主成分分析，stata代码操作讲解+matlab代码操作讲解+主成分分析(PCA)理论部分讲解，讲解十分详细哦，适合经济学、管理学、应用统计的朋友学习，谢谢大家支持哦，讲解链接...
主成分分析法PCA_pca_序列数据_主成分分析_
09-30
在"主成分分析法PCA——MATLAB实现"这个文件中，可能包含了使用MATLAB进行PCA的具体代码示例。MATLAB是一种强大的数值计算和编程环境，非常适合进行这种类型的数据分析。在MATLAB中，可以使用`pca`函数来执行主成分...
主成分分析（PCA）原理详解
热门推荐
Microstrong
06-09 66万+
“微信公众号”本文同步更新在我的微信公众号里，地址：https://mp.weixin.qq.com/s/Xt1vLQfB20rTmtLjiLsmww本文同步更新在我的知乎专栏里面：主成分分析（PCA）原理详解 - Microstrong的文章 - 知乎https://zhuanlan.zhihu.com/p/377770741.相关背景在许多领域的研究与应用中，通常需要对含有多个变量的数据进行观...
matlab 实现主成分分析（PCA）
06-04
主成分分析（PCA）是一种广泛应用于数据分析和机器学习领域的统计方法，主要目的是通过线性变换将高维数据转换为低维表示，同时保留原始数据的主要特征。PCA通过对数据进行正交变换，找到新的坐标轴（主成分），这些...
主成分分析法（PCA）原理及代码
最新发布
12-19
课程网址 全部课程视频在此处：B站网址 课程目录 第1章 数据描述性分析 第2章 参数估计 第3章 假设检验 第4章 回归分析 第5章 方差分析 第6章 判别分析与聚类分析 第7章 主成分分析、因子分析与典型相关分析 第8章 ...
主成分分析(PCA)python实现(含数据集)
12-15
主成分分析(PCA)python实现(含数据集)，结构清晰，适合初学者
主成分分析——MATLAB实现
04-06
主成份分析（PCA）中关于协方差矩阵实现的两种方法MATLAB代码详解
PCA（主成分分析法）的Python代码实现（numpy，sklearn）
qq_52300431的博客
03-14 5万+
PCA（主成分分析法）的Python代码实现（numpy，sklearn）语言描述算法描述示例1 使用numpy一步一步按算法降维 2 直接使用sklearn中的PCA进行降维 语言描述 PCA设法将原来众多具有一定相关性的属性（比如p个属性），重新组合成一组相互无关的综合属性来代替原属性。通常数学上的处理就是将原来p个属性做线性组合，作为新的综合属性。 PCA 中的线性变换等价于坐标变换，变换的目的是使 n 个样本点在新坐标轴 y1y_1y1​ 上的离散程度（方差）最大，这样变量 y1
第十六章 主成分分析 代码实现
忆殇D.Rose的博客
01-12 639
这篇博客主要是总结一下sklearn中给出的几种PCA方法的实现，包括 PCA：针对线性可分数据的PCA方法的实现 Kernel PCA：加入了核函数的PCA方法，用于对线性不可分数据的降维 Incremental PCA：用于对大数据进行降维，当数据量过大时，不能一次全部加载入内存，所以需要每次加载一个batch，这一点上和深度学习在数据量过大时的加载方法是一致的，即每次都只从外存中取一个ba...
主成分分析PCA+编程实现
06-25 1457
主成分分析一个非监督的机器学习算法主要用于数据的降维通过降维，可以发现更便于人类理解的特征其他应用：可视化，去噪PCA优缺点优点：降低数据的复杂性，识别最重要的多个特征缺点：不一定需要，且可能损失有用信息使用数据类型：数值型数据举个例子理解一下，二维空间上有一些样本点如下，将二维降维至一维：原始样本点（二维）映射到特征1上映射到特征2上从图中可以看到，将样本点映射到特征1这种方案感觉会好一些，因为...
主成分分析PCA算法部分代码(python)
kelciej的博客
09-29 2323
主成分分析PCA算法例题
PCA主成分分析原理分析和Matlab实现方法（三）
weixin_40137925的博客
09-08 2588
PCA主成分分析原理分析和Matlab实现方法（三）
python主成分分析_Python机器学习笔记：主成分分析（PCA）算法
weixin_39570530的博客
11-28 2112
一：引入问题首先看一个表格，下表是某些学生的语文，数学，物理，化学成绩统计：首先，假设这些科目成绩不相关，也就是说某一科目考多少分与其他科目没有关系，那么如何判断三个学生的优秀程度呢？首先我们一眼就能看出来，数学，物理，化学这三门课的成绩构成了这组数据的主成分（很显然，数学作为第一主成分，因为数据成绩拉的最开）。那么为什么我们能一眼看出来呢？当然是我们的坐标轴选对了！！下面，我们继续看一个表格，下...
主成分分析PCA
weixin_66403225的博客
06-16 1320
n_components：这个参数可以设置为一个大于等于1的整数,表示数据降到的维数。也可设置为一个(0,1]之间的数,用于设定主成分累积贡献率的阈值,让PCA类自己去根据样本特征方差来决定降维到的维度数。svd_solver:有4个可以选择的值:{'auto','full','arpack','randomized'},一般来说,使用默认值就够了。newX=pca.fit_transform(X),newX就是降维后的数据。用X来训练PCA模型,同时返回降维后的数据。将降维后的数据转换成原始维度的数据,
主成分分析法PCA原理及代码实现详解
资源摘要信息:"主成分分析法（PCA）是一种在数据科学、机器学习和统计学中广泛应用的降维技术，其核心目标是将高维数据集转换为低维空间，同时尽可能保留原始数据中的主要信息。该方法通过线性变换将原始变量重新...
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值