kuang_liu-优快云博客

原创信息与熵的计算

1. 什么是信息？信息的定义涉及概率论中的随机事件概率，如果待分类事物可能划分在多个分类之中，则符号 Xi 的信息定义为： AAABBB 其中 P(xi) 是选择该分类的概率。举个例子：已知事件 X 的概率分布如下，计算符号 X 的信息： X X0 X1 P 0.5 0.5 l(x0) = log

2014-03-18 18:22:19 4028 1

原创 [线性代数] 矩阵白化

给一个任意矩阵 X，一般情况下它的协方差矩阵并不是对角矩阵。矩阵白化就是用一个白化矩阵 A，使 Y = A * X 的协方差矩阵转化为对角矩阵。这里首先指出 Y = A * X 成立的前提是 X 中的元素是按列排列的，如果 X 按行排列，Y = X * A。 1. 数学推导如果数据按行排列则协方差矩阵的定义是（假设 X is already zero-mean）：我们的目

2013-11-25 22:17:22 9410 1

原创 [线性代数] SVD 与协方差矩阵

这篇文章的目的是如何用 SVD 分解来简化求解协方差矩阵的特征值和特征向量。给任何一个 m * n 的矩阵 X，数据按行排列，协方差矩阵 covMatrix 是 n * n 维的。如果 m 1. SVD 分解对于任意一个 m * n 的矩阵的矩阵 X，总能分解成下面这种形式：其中： U、V 是单位正定矩阵，即：U 的每一列是 X * X' 的特征向量，V 的每一列

2013-11-17 23:17:16 6325

原创 [线性代数] 如何求协方差矩阵

1. 协方差定义 X、Y 是两个随机变量，X、Y 的协方差 cov(X, Y) 定义为：其中：、 2. 协方差矩阵定义矩阵中的数据按行排列与按列排列求出的协方差矩阵是不同的，这里默认数据是按行排列。即每一行是一个observation(or sample)，那么没一列就是一个随机变量。协方差矩阵：协方差矩阵的维度等于随机变量的个数，即每一个 obser

2013-11-17 14:52:50 53622 12

原创 [机器学习] PCA matlab代码

clear; clc; % data are stored as rows. points = [1.4000 1.55000; 3.0000 3.2000; 0.6000 0.7000; 2.2000 2.3000; 1.8000 2.1000; 2.0000 1.6000; 1.0000 1.1000; 2.5000 2.4000;

2013-11-15 21:24:14 1457

原创 [机器学习] LDA理论

1. LDA 与 PCA 线性判别分析（Linear Discriminant Analysis, LDA）和主成分析法（PCA）都可以用于数据分类和降低维度。但 LDA 尽可能的保留不同类数据的差别。LDA 使不同类的数据它们的差别尽可能的大，而使同一类的数据它们的差别尽可能的小。即让类型间的差别与同一类型内的差别的比值尽可能的大。LDA 比 PCA 更好的体现出数据的分布

2013-10-27 17:25:39 1814

原创 [机器学习] PCA理论

1. PCA综述主成分析法（Principal Component Analysis, PCA）的思想就是降维。主成分析法可以 ① 降低整个数据集合的维度（单独每组数据维度不变） ② 提取数据集合中的主要成分，移除数据冗余，便于识别数据集中的一些规律(pattern) 用途有：图像压缩，人脸识别。 2.

2013-10-22 22:25:32 1684

kuang_liu的专栏