【Deep Learning】2、Preprocessing: PCA and Whitening

博客直接分享了有道云笔记链接,未提及其他信息技术相关关键信息。
### 主成分分析(PCA)算法的具体流程和实现步骤 #### 数据预处理 在 PCA 的第一步中,需要对原始数据进行标准化或归一化操作。这是因为不同维度的数据可能具有不同的量纲或者数量级差异,这会影响后续协方差矩阵的计算结果。通常采用零均值化的方式去除数据中的偏移项[^1]。 ```python from sklearn.preprocessing import StandardScaler scaler = StandardScaler() data_standardized = scaler.fit_transform(data_raw) ``` #### 计算协方差矩阵 经过预处理后的数据可以用来构建协方差矩阵。该矩阵反映了各变量之间的线性关系强度及其方向。对于 n 维随机向量 X=[x₁,x₂,...,xn]^T ,其对应的样本协方差矩阵 S 定义为: \[S=\frac{1}{N-1} \sum_{i=1}^{N}(x_i-\bar{x})(x_i-\bar{x})^T\] 其中 N 表示样本总数,\(x_i\) 是第 i 个观测值,而 \(\bar{x}\) 则代表所有样本的平均值[^1]。 ```python import numpy as np cov_matrix = np.cov(data_standardized.T) print(cov_matrix) ``` #### 特征值分解 接着对得到的协方差矩阵执行特征值分解 (Eigenvalue Decomposition),从而找出能够最大程度保留原空间信息的新坐标轴——即所谓的主成分。每一个特征向量对应着某个特定的变化模式;相应的特征值衡量了沿此变化模式上的散布程度大小[^2]。 ```python eigen_values, eigen_vectors = np.linalg.eig(cov_matrix) # Sort the eigenvectors by decreasing order of their associated eigenvalues. idx = eigen_values.argsort()[::-1] eigen_values = eigen_values[idx] eigen_vectors = eigen_vectors[:, idx] ``` #### 选择主成分 依据实际需求决定保留多少个最重要的主成分来近似表示整个数据集。一般而言,可以通过累计贡献率指标判断所需选取的数量:当累积百分比达到一定阈值(比如95%)以上时即可停止增加新的主元数[^3]。 ```python total_variance = sum(eigen_values) explained_variances_ratio = [(i / total_variance)*100 for i in sorted(eigen_values, reverse=True)] cumulative_explained_variance = np.cumsum(explained_variances_ratio) num_components_to_keep = len([v for v in cumulative_explained_variance if v < 95]) ``` #### 数据降维 最后一步便是利用选定出来的前 k 个最大特征值所关联的正交基底变换回低维子空间内的投影坐标位置,进而实现了高维至低维的有效转换过程。 ```python projection_matrix = eigen_vectors[:,:num_components_to_keep] reduced_data = data_standardized.dot(projection_matrix) ```
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值