白化

最新推荐文章于 2023-12-01 11:27:13 发布
最新推荐文章于 2023-12-01 11:27:13 发布
阅读量1.3k 收藏 3
点赞数 1
分类专栏： math

转自https://blog.youkuaiyun.com/zchang81/article/details/70211445

 

白化的目的是去除输入数据的冗余信息。

例如：训练数据是图像，由于图像中相邻像素之间具有很强的相关性，因此输入是冗余的。白化的目的就是降低输入的冗余性。

输入数据集，经过白化处理后，生成的新数据集满足两个条件：一是特征相关性较低；二是特征具有相同的方差。

白化算法的实现过程：第一步操作是PCA，求出新特征空间中的新坐标，第二步是对新的坐标进行方差归一化操作。

白化分为PCA白化、ZCA白化，算法实现步骤如下：

PCA预处理：

     

左图表示原始数据X，然后我们通过协方差矩阵可以求得特征向量u1、u2，然后把每个数据点，投影到这两个新的特征向量（这两个特征向量是不变且正交的），得到进行坐标如下：

这就是pca处理。

 

PCA白化

pca白化是指对上面的pca的新坐标X’,每一维的特征做一个标准差归一化处理。从上面我们看到在新的坐标空间中，(x1,x2)两个坐标轴方向的数据明显标准差不同，因此我们接着要对新的每一维坐标做一个标注差归一化处理。

ZCA白化

ZCA白虎是在PCA白化的基础上，把上面PCA白化的结果，又变换到原来坐标系下的坐标

机器学习笔记 - 深度学习的预处理和图像白化
学以致用 知行合一
04-27 1461
我们将使用代码（Python/Numpy 等）进行编码，以更好的理解从数据预处理的基础知识到深度学习中使用到的技术。 将从数据科学和机器学习/深度学习中基本但非常有用的概念开始，例如方差和协方差矩阵，我们将进一步介绍一些用于将图像输入神经网络的预处理技术。使用具体代码了解每个方程的作用！ 在将原始数据输入机器学习或深度学习算法之前，我们称其为对原始数据的所有转换进行预处理。例如，在原始图像上训练卷积神经网络可能会导致较差的分类性能。预处理对于加快训练也很重要（例如，居中和
深度学习UFLDL教程翻译之PCA白化
hunterlew的专栏
08-13 4501
一、引入        主成分分析（PCA）是一种降维算法，能大大加速你的无监督特征学习算法。更重要的是，理解PCA能让我们后面实现白化，这是一个对所有算法适用的重要的预处理步骤。        假设你在图像上训练你的算法。不过输入稍微有点冗余，因为图像中相邻的像素值是高度相关的。具体来说，假设我们在16*16的灰度图像块上训练。那么x∈R256是256维的向量，一个特征xj对应着图像中每个像
深度学习——白化
zchang81的博客
04-17 9730
白化的目的是去除输入数据的冗余信息。 例如：训练数据是图像，由于图像中相邻像素之间具有很强的相关性，因此输入是冗余的。白化的目的就是降低输入的冗余性。
深度学习白化
kyle1314608的博客
07-02 525
白化的目的是去除输入数据的冗余信息。 例如：训练数据是图像，由于图像中相邻像素之间具有很强的相关性，因此输入是冗余的。白化的目的就是降低输入的冗余性。 输入数据集，经过白化处理后，生成的新数据集满足两个条件：一是特征相关性较低；二是特征具有相同的方差。 白化算法的实现过程：第一步操作是PCA，求出新特征空间中的新坐标，第二步是对新的坐标进行方差归一化操作。 白化分为PCA白化、ZCA白化，算法实现步骤如下： PCA预处理： 左图表示原始数据X，然后我们通过协方差矩阵可以求得特征向量u1、u2，然后把每个
机器学习（七）白化whitening
热门推荐
hjimce的专栏
03-12 7万+
输入数据集X，经过白化处理后，新的数据X'满足两个性质： (1)特征之间相关性较低； (2)所有特征具有相同的方差。 其实我们之前学的PCA算法中，可能PCA给我们的印象是一般用于降维操作。然而其实PCA如果不降维，而是仅仅使用PCA求出特征向量，然后把数据X映射到新的特征空间，这样的一个映射过程，其实就是满足了我们白化的第一个性质：除去特征之间的相关性。因此白化算法的实现过程，第一步操作就是PCA，求出新特征空间中X的新坐标，然后再对新的坐标进行方差归一化
白化（预处理步骤）【转】
kyle1314608的博客
07-24 1670
白化（预处理步骤）【转】 介绍 我们已经了解了如何使用PCA降低数据维度。在一些算法中还需要一个与之相关的预处理步骤，这个预处理过程称为白化。举例来说，假设训练数据是图像，由于图像中相邻像素之间具有很强的相关性，所以用于训练时输入是冗余的。白化的目的就是降低输入的冗余性；更正式的说，我们希望通过白化过程使得学习算法的输入具有如下性质：（i）特征之间相关性较低；（ii）所...
数据白化
jiumi123的专栏
10-24 5485
原文地址：数据白化作者：紫de甘蓝 白化的原理：      随机向量的“零均值化”和“空间解相关”（也叫白化）是最常用的两个预处理过程，其中“零均值化”比较简单，而“空间解相关”涉及一些矩阵的知识。     设有均值为零的随机信号向量 x ，其自相关矩阵为   Rx =E[xxT ] ≠ I     很明显， Rx  是对称矩阵，且是非负定的（所有特征
【深度学习基础】归一化，白化，
Jiangnan_Cai的博客
10-30 373
当然，除了对图像的像素值进行归一化，在目标检测的 YOLO 家族中，我们也会对目标框的坐标和宽高进行归一化处理。归一化后数值落在哪个区间对后续的训练有什么影响呢？但是上面有几个答案都提到了归一化到。是一种更为推荐的归一化方式。
数据预处理----白化(Whitening)
zzylalalala的博客
12-01 4222
我对【零相位】的理解就是，相对于原来的空间（坐标系），白化后的数据并没有发生旋转（坐标变换）。ZCA白化则是在PCA白化基础上，将PCA白化后的数据旋转回到原来的特征空间，这样可以使得变换后的数据更加接近原始输入数据。那么我们要怎样旋转才能得到不想关的数据呢，实际上，在协方差矩阵中，其特征向量指示的就是数据扩散的最大方向。当特征多项式等于0的时候，称为A的特征方程，特征方程是一个齐次线性方程组，求解特征值的过程其实就是求解特征方程的解。即原始数据存在一定的相关性，我们想要旋转数据以使得数据不在存在相关性。
白化部分知识点
weixin_39306118的博客
06-24 320
3.白化： 白化的目的是去除输入数据的冗余信息。 　　例如：训练数据是图像，由于图像中相邻像素之间具有很强的相关性，因此输入是冗余的。白化的目的就是降低输入的冗余性。 　　输入数据集，经过白化处理后，生成的新数据集满足两个条件：一是特征相关性较低；二是特征具有相同的方差。 　　白化算法的实现过程：第一步操作是PCA，求出新特征空间中的新坐标，第二步是对新的坐标进行方差归一化操作。 ...
【理论知识学习33】深度学习机器学习中的白化 VS PCA
呆呆象呆呆的博客
04-27 2064
DL四（预处理：主成分分析与白化 Preprocessing PCA and Whitening ） - robert_ai - 博客园 深度学习之8——数据预处理 - 知乎 深度学习中的白化预处理_Sirius_0的博客-优快云博客 白化（Whitening）：PCA vs. ZCA - Lee的白板报的个人空间 - OSCHINA - 中文开源技术交流社区 白化（预处理步骤）【转】 - osc_f1tgjw6d的个人空间 - OSCHINA - 中文开源技术交流社区 [转载]什么是白化(whiteni
深度学习入门---PCA，白化
jiede1的博客
08-10 5140
引言主成分分析（PCA）是一种能够极大提升无监督特征学习速度的数据降维算法。更重要的是，理解PCA算法，对实现白化算法有很大的帮助，很多算法都先用白化算法作预处理步骤。 假设你使用图像来训练算法，因为图像中相邻的像素高度相关，输入数据是有一定冗余的。具体来说，假如我们正在训练的16x16灰度值图像，记为一个256维向量 x∈R256\textstyle x \in \Re^{256} ，其中特征值
机器学习基础（六十二）—— 白化
05-11 2115
我们可以使用 PCA 降低数据维度。在一些算法中还需要一个与之相关的预处理步骤，这个预处理过程称为白化（一些文献中也叫 sphering）。举例来说，假设训练数据是图像，由于图像中相邻像素之间具有很强的相关性，所以用于训练时输入是冗余的。白化的目的就是降低输入的冗余性；更正式的说，我们希望通过白化过程使得学习算法的输入具有如下性质： (i) 特征之间相关性较低； (ii) 所有特征具有相同的方差。
基础算法：白化
weixin_48186491的博客
10-10 676
Whitening:白化 主要分为PCA白化和ZCA白化，是一种重要的预处理过程，其目的就是降低输入数据的冗余性，使得经过白化处理的输入数据具有如下性质：（但是真的使用是，就很少2出现） 1.特征之间相关性较低； 2.所有特征具有相同的方差。 主要介绍PCA方法，先介绍PCA是什么：(其实线性代数中学过) 将—组N维向量降为K维（K大于0，小于N），目标是选择K个单位正交基，使原始数据变换到这组基上后，各字段两两间协方差为0，字段的方差则尽可能大 有主成分分析那股味了
深度学习笔记二:PAC,PAC白化，ZCA白化
yuanchheneducn的博客
06-12 2349
不知道怎么回事， 博客误删了。不想再写了，列下提纲。PCAsigma=(x*x')/size(x,2); [u,s,v]=svd(sigma); xRot = zeros(size(x)); % You need to compute this xRot=u'*x; %以下降维 xHat = zeros(size(x)); % You need to compute this uk=u(:,1:k)
DeepLearning (三) 预处理：主成分分析与白化
Liu_LongPo的专栏
05-11 1万+
【原创】Liu_LongPo 转载请注明出处 【优快云】http://blog.youkuaiyun.com/llp1992PCA算法前面在前面的博客中已经有介绍，这里简单在描述一下，更详细的PCA算法请参考我的博客： 机器学习实战ByMatlab（二）PCA算法 PCA 的主要计算步骤 1.数据预处理，使得每一维数据都有相同的均值0 2.计算数据的协方差矩阵，Σ=1m∑mi=1(x(i))(x(
数据预处理之白化-Whitening
鹊踏枝-码农的专栏
09-26 4639
理论知识   随机向量的“零均值化”和“空间解相关”是最常用的两个预处理过程，其中“零均值化”比较简单，而“空间解相关”涉及一些矩阵的知识。     设有均值为零的随机信号向量  ，其自相关矩阵为 很明显，  是对称矩阵，且是非负定的（所有特征值都大于或等于0）。     现在，寻找一个线性变换  对  进行变换，即  ，使得 上式的含义是：y的各分量是不相关的
面向机器学习的特征工程（白化）
weixin_41829234的博客
05-28 440
https://www.cnblogs.com/rong86/p/3559137.html https://www.cnblogs.com/demian/p/7627324.html
图像预处理与特征提取（1）——白化处理和直方图均衡化
Hawking Wang的博客
12-05 1万+
我们从逐像素处理来开始讲诉图像预处理。我们将代表原始图像的二维矩阵标记为P P，其中的p ij  p_{ij}代表第i i行和第j j列的像素值，代表该像素点的灰度强度。逐像素处理返回的就是和P P尺寸大小一样包含x ij  x_{ij}的二维矩阵X X。1.Whitening（白化处理）一幅图像最终成像会受环境照明强度、物体反射、拍摄相机等多因素的影响。为了能够图像的中包含的那些不受外界影响的恒定
白化算法
最新发布
05-24
### 白化算法的原理与实现 白化是一种预处理技术，通常用于机器学习和信号处理领域。其核心目标是对数据进行线性变换，使得经过变换的数据具有单位协方差矩阵[^1]。这意味着： - 数据的每一维度都有零均值； - 各维度之间的相关性被消除。 #### 原理概述 白化的本质在于去除数据的相关性和缩放特征到相同的范围。具体来说，给定一个随机向量 \( X \)，它的协方差矩阵为 \( C_X = E[(X-E[X])(X-E[X])^T] \)[^2]。为了实现白化，我们需要找到一个线性变换矩阵 \( W \)，使得新的随机向量 \( Y = WX \) 满足以下条件： \[ Cov(Y) = I, \] 其中 \( I \) 是单位矩阵。 这一过程可以通过奇异值分解（SVD）或特征值分解来实现。以下是两种常见的白化方法及其对应的实现步骤。 --- #### 方法一：基于 SVD 的白化 1. **中心化** 将原始数据减去均值，得到零均值数据 \( Z = X - \mu \), 其中 \( \mu = E[X] \)[^3]。 2. **计算协方差矩阵** 对于零均值数据 \( Z \)，计算其协方差矩阵 \( C_Z = ZZ^T / n \)，其中 \( n \) 是样本数量[^4]。 3. **奇异值分解 (SVD)** 对协方差矩阵 \( C_Z \) 进行奇异值分解： \[ C_Z = U\Sigma V^T \][^1]， 其中 \( U \) 和 \( V \) 是正交矩阵，\( \Sigma \) 是对角矩阵，包含奇异值。 4. **构建白化矩阵** 构造白化矩阵 \( W_{whiten} = V D^{-1/2} U^T \)，其中 \( D^{-1/2} \) 是由 \( \Sigma \) 中奇异值平方根倒数构成的对角矩阵[^1]。 5. **应用白化矩阵** 使用白化矩阵对数据进行变换： \[ Y = W_{whiten}Z \] --- #### 方法二：基于特征值分解的白化 1. **中心化** 类似于方法一，先将数据 \( X \) 转换为中心化数据 \( Z = X - \mu \)[^3]。 2. **计算协方差矩阵并分解** 计算协方差矩阵 \( C_Z = ZZ^T / n \)，并对该矩阵执行特征值分解： \[ C_Z = Q\Lambda Q^T \][^2]， 其中 \( Q \) 是特征向量组成的正交矩阵，\( \Lambda \) 是对角矩阵，包含特征值。 3. **构建白化矩阵** 定义白化矩阵 \( W_{whiten} = Q\Lambda^{-1/2}Q^T \)，其中 \( \Lambda^{-1/2} \) 表示对角线上每个元素取平方根后再求倒数[^1]。 4. **应用白化矩阵** 变换数据以获得白化后的结果： \[ Y = W_{whiten}Z \] --- #### Python 实现代码 下面是一个简单的基于特征值分解的白化算法实现： ```python import numpy as np def whiten(X): """ 对输入数据 X 执行白化操作 :param X: 输入数据矩阵，形状为 (n_samples, n_features) :return: 白化后的数据矩阵 """ # 1. 中心化 mean = np.mean(X, axis=0) Z = X - mean # 2. 计算协方差矩阵 cov_matrix = np.cov(Z.T) # 3. 特征值分解 eigenvalues, eigenvectors = np.linalg.eigh(cov_matrix) # 4. 构建白化矩阵 Lambda_inv_sqrt = np.diag(1.0 / np.sqrt(eigenvalues)) whitening_matrix = np.dot(np.dot(eigenvectors, Lambda_inv_sqrt), eigenvectors.T) # 5. 应用白化矩阵 Y = np.dot(Z, whitening_matrix) return Y # 测试 data = np.random.rand(100, 5) # 随机生成一些数据 white_data = whiten(data) print("Original Data Shape:", data.shape) print("Whitened Data Shape:", white_data.shape) ``` --- #### 注意事项 1. 白化会改变数据分布特性，可能会影响后续分析的结果。因此，在某些场景下需谨慎使用。 2. 如果数据规模较大，则建议采用数值稳定的方法（如 SVD），以避免因浮点误差导致的问题。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值