【Deep Learning】2、Preprocessing: PCA and Whitening

最新推荐文章于 2019-09-04 20:49:00 发布
原创 最新推荐文章于 2019-09-04 20:49:00 发布 · 2.3k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

博客直接分享了有道云笔记链接，未提及其他信息技术相关关键信息。
Deep Learning 学习随记（六）Linear Decoder 线性解码
zhoubl668的专栏：远帆，梦之帆！
04-30 4932
线性解码器（Linear Decoder） 前面第一章提到稀疏自编码器（http://www.cnblogs.com/bzjia-blog/p/SparseAutoencoder.html）的三层网络结构，我们要满足最后一层的输出：a（3）≈a（1）（即输入值x）的近似重建。考虑到在最后一层的a（3）=f（z（3）），这里f一般用sigmoid函数或tanh函数等非线性函数，而将输出界定在一
【深度学习基础】归一化，白化，
Jiangnan_Cai的博客
10-30 457
当然，除了对图像的像素值进行归一化，在目标检测的 YOLO 家族中，我们也会对目标框的坐标和宽高进行归一化处理。归一化后数值落在哪个区间对后续的训练有什么影响呢？但是上面有几个答案都提到了归一化到。是一种更为推荐的归一化方式。
Deep learning--------------Whitening
精锐小庄的专栏
12-05 824
Introduction We have used PCA to reduce the dimension of the data. There is a closely related preprocessing step called whitening (or, in some other literatures, sphering) which is needed for some
UFLDL学习笔记2（Preprocessing: PCA and Whitening）
richard2357的专栏
01-11 3161
最近在学习UFLDL Tutorial，这是一套关于无监督学习的教程。在此感觉Andrew Ng做的真的是非常认真。下面把我的代码贴出来，方便大家学习调试。所有代码已经过matlab调试通过。 PCA是一种用来降维的方法。个人推荐看Pattern Recognition And Machine Learning的第十二章作为辅助。该书写的极为详细。UFLDL上有两个练习。建议先做pc
DL四（预处理：主成分分析与白化 Preprocessing PCA and Whitening ）
weixin_33698823的博客
01-08 273
预处理：主成分分析与白化 Preprocessing：PCA and Whitening 一主成分分析 PCA 1.1 基本术语 　 主成分分析 Principal Components Analysis 白化 whitening 亮度 intensity 平均值 mean 方差 variance 协方差矩阵 covariance matrix 基 basis ...
BN层 LN层 WN层作用介绍
pandamax的博客
06-02 2万+
一：BN层李宏毅视频讲解BN（Batch Normalization）层的作用（1）加速收敛（2）控制过拟合，可以少用或不用Dropout和正则（3）降低网络对初始化权重不敏感（4）允许使用较大的学习率 链接：https://www.zhihu.com/question/38102762/answer/85238569来源：知乎1. What is BN?顾名思义，batch normalizat...
深度学习中的Normalization, BN LN WN等
William Zhao's notes
05-15 5799
收藏两篇相关文章一、详解深度学习中的Normalization，不只是BN转自  https://zhuanlan.zhihu.com/p/33173246深度神经网络模型训练之难众所周知，其中一个重要的现象就是 Internal Covariate Shift. Batch Norm 大法自 2015 年由Google 提出之后，就成为深度学习必备之神器。自 BN 之后， Layer Norm ...
deep learning 教程
08-28
教程还包括了在2D空间中的PCA实现（Exercise:PCA in 2D），以及结合PCA和白化操作的练习（Exercise: PCA and Whitening），以帮助学习者更好地掌握这些方法。 Softmax回归（Softmax Regression）是另一种重要的算法...
deep learning UFLDL tutorial
10-09
首先，标题“deep learning UFLDL tutorial”表明这份材料是一份深度学习教程，特别使用了UFLDL（Unsupervised Feature Learning and Deep Learning）工具和框架，它是由斯坦福大学开发的一个免费资源，旨在通过非...
深度学习面试100题
weixin_30853329的博客
09-04 2065
深度学习面试100题（第1-5题）：经典常考点CNN 2018.11.22 16:40:49字数 769阅读 2232 1、梯度下降算法的正确步骤是什么？ a.计算预测值和真实值之间的误差 b.重复迭代，直至得到网络权重的最佳值 c.把输入传入网络，得到输出值 d.用随机值初始化权重和偏差 e.对每一个产生误差的神经元，调整相应的（权重）值以减小误差 A.a...
【SVM之菜鸟实现】—5步SVM
热门推荐
极度视界
09-02 3万+
SVM 五步实现
DeepLearnToolbox使用总结
极度视界
08-23 3万+
DeepLearnToolbox 使用小结
二分类SVM方法Matlab实现
极度视界
03-12 2万+
使用Matlab实现了二分类的SVM，优化技术使用的是Matlab自带优化函数quadprog。 只为检查所学，更为熟悉；不为炫耀。也没有太多时间去使用更多的优化方法。 function model = svm0311(data,options) %SVM0311 解决2分类的SVM方法，优化使用matlab优化工具箱quadprog函数实现 %by LiFeiteng email:
随机决策森林——OpenCV类CvRTrees使用实例
极度视界
06-08 2万+
本文介绍：OpenCV机器学习库MLL中随机森林Random Trees的使用 参考文献： 1.Breiman, Leo (2001). "Random Forests". Machine Learning  2.Random Forests网站 不熟悉MLL的参考此文：OpenCV机器学习库MLL OpenCV的机器学习算法都比较简单：train ——>predict c
Fisher线性判别与感知器算法Matlab实现
极度视界
03-09 2万+
参考用书： 本文是在学习此书Chapter4时，跑的实验。 4.1.4 Fisher‘s Linear Discriminate function [w y1 y2 Jw] = FisherLinearDiscriminat(data, label) % FLD Fisher Linear Discriminant. % data : D*N data % label :
K-Means 和K-Medoids算法及其MATLAB实现
极度视界
11-30 2万+
K-Means和K-Medoids算法是学习领域比较普通的聚类算法(无监督学习)，本文介绍原理及Matlab实现代码。1.问题：     给定数据点集P，d-by-N，将这些数据点集聚类到K类中去同时要求下式值最小：Sk是聚类形成的数据集合，mk是每个类集合的“中心”——K-Means与K-Medoids唯一不同的地方
Face Recognition小记
极度视界
05-29 1万+
距上次看Face Recognition的论文已一年有余 早闻 Robust Face Recognition 引用很高，看了之后，确实实验部分很暴力：近10个实验 里面跟 Eigenfaces Fisherfaces Laplacianfaces 都有比较 1.M. Turk and A. Pentland, “Eigenfaces for Recognition,” Proc.
EM方法解高斯混合模型(GMM)Matlab实现
极度视界
03-14 1万+
背景：PRML 第9章  9.2Mixtures of Gaussians 中算法实现 function model = gmmEM(data,K,option) % % K 为model数 % Reference: PRML p438-439 tic if nargin < 3 option.eps = 1e-12; option.maxiter = 1000;
文本自动分类
极度视界
10-04 1万+
文本自动分类 python
PCA第2关：PCA算法流程
最新发布
05-21
### 主成分分析(PCA)算法的具体流程和实现步骤 #### 数据预处理 在 PCA 的第一步中，需要对原始数据进行标准化或归一化操作。这是因为不同维度的数据可能具有不同的量纲或者数量级差异，这会影响后续协方差矩阵的计算结果。通常采用零均值化的方式去除数据中的偏移项[^1]。 ```python from sklearn.preprocessing import StandardScaler scaler = StandardScaler() data_standardized = scaler.fit_transform(data_raw) ``` #### 计算协方差矩阵 经过预处理后的数据可以用来构建协方差矩阵。该矩阵反映了各变量之间的线性关系强度及其方向。对于 n 维随机向量 X=[x₁,x₂,...,xn]^T ，其对应的样本协方差矩阵 S 定义为： \[S=\frac{1}{N-1} \sum_{i=1}^{N}(x_i-\bar{x})(x_i-\bar{x})^T\] 其中 N 表示样本总数，\(x_i\) 是第 i 个观测值，而 \(\bar{x}\) 则代表所有样本的平均值[^1]。 ```python import numpy as np cov_matrix = np.cov(data_standardized.T) print(cov_matrix) ``` #### 特征值分解 接着对得到的协方差矩阵执行特征值分解 (Eigenvalue Decomposition)，从而找出能够最大程度保留原空间信息的新坐标轴——即所谓的主成分。每一个特征向量对应着某个特定的变化模式；相应的特征值衡量了沿此变化模式上的散布程度大小[^2]。 ```python eigen_values, eigen_vectors = np.linalg.eig(cov_matrix) # Sort the eigenvectors by decreasing order of their associated eigenvalues. idx = eigen_values.argsort()[::-1] eigen_values = eigen_values[idx] eigen_vectors = eigen_vectors[:, idx] ``` #### 选择主成分 依据实际需求决定保留多少个最重要的主成分来近似表示整个数据集。一般而言，可以通过累计贡献率指标判断所需选取的数量：当累积百分比达到一定阈值（比如95%）以上时即可停止增加新的主元数[^3]。 ```python total_variance = sum(eigen_values) explained_variances_ratio = [(i / total_variance)*100 for i in sorted(eigen_values, reverse=True)] cumulative_explained_variance = np.cumsum(explained_variances_ratio) num_components_to_keep = len([v for v in cumulative_explained_variance if v < 95]) ``` #### 数据降维 最后一步便是利用选定出来的前 k 个最大特征值所关联的正交基底变换回低维子空间内的投影坐标位置，进而实现了高维至低维的有效转换过程。 ```python projection_matrix = eigen_vectors[:,:num_components_to_keep] reduced_data = data_standardized.dot(projection_matrix) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值