且慢

PCA主成分分析文章目录PCA主成分分析数据的向量表示及降维问题向量的表示及基变换内积与投影基基变换的矩阵表示下面我们找一种简便的方式来表示`基变换`。还是拿上面的例子，想一下，将(3,2)变换为新基上的坐标，就是用(3,2)与第一个基做内积运算，作为第一个新的坐标分量，然后用(3,2)与第二个基做内积运算，作为第二个新坐标的分量。实际上，我们可以用矩阵相乘的形式简洁的表示这个变换：$$\begin{pmatrix} 1/\sqrt{2} & 1/\sqrt{2} \\ -1/\sq

MMD讲解文章目录MMD讲解描述一个随机变量衡量两个随机变量的差异如何表示一个随机变量的任意阶矩描述一个随机变量去描述一个随机变量，最直接的方法就是给出它的概率分布函数f(x)f(x)f(x)。一些简单的分布可以这么干，比如正态分布给出均值和方差就可以确定，但是对于一些复杂的、高维的随机变量，我们无法给出它们的分布函数。这时候我们可以用随机变量的矩来描述一个随机变量，比如一阶中心矩是均值，二阶中心矩是方差等等。如果两个分布的均值和方差都相同的话，它们应该很相似，比如同样均值和方差的高斯分布和拉普拉斯

再生希尔伯特空间与核函数讲解文章目录再生希尔伯特空间与核函数讲解空间线性空间/向量空间(Linear Space/Vector Space)度量空间赋范线性空间/范数向量空间距离与范数的关系内积空间(inner product space)欧式空间/欧几里得空间(Euclidean Space)巴拿赫空间希尔伯特空间核函数1.矩阵的特征值分解2.核函数3.Mercer定理4.核函数的作用以及通俗理解再生核希尔伯特空间具体定义空间空间的概念就是 空间 = 集合 + 结构线性空间/向量空间(Linear

流形学习文章目录流形学习数据降维问题什么是流形？什么是流形学习？局部线性嵌入拉普拉斯特征映射拉普拉斯矩阵进行数据降维的具体做法第一步第二步第一种第二种第三步局部保持投影第一步第二步数据降维问题在很多应用中，数据的维数会很高。以图像数据为例，我们要识别32x32的手写数字图像，如果将像素按行或者列拼接起来形成向量，这个向量的维数是1024。高维的数据不仅给机器学习算法带来挑战，而且导致计算量大，此外还会面临维数灾难的问题（这一问题可以直观的理解成特征向量维数越高，机器学习算法的精度反而会降低）。人所能直

聚类文章目录聚类1.聚类定义聚类和分类的区别聚类的一般过程数据对象间的相似度度量cluster之间的相似度度量2.数据聚类方法划分式聚类方法k-means算法度量标准更新方式迭代结束条件代码k-means++算法bi-kmeans算法3.基于密度的方法DBSCAN算法1.聚类定义聚类(Clustering)是按照某个特定标准(如距离)把一个数据集分割成不同的类或簇，使得同一个簇内的数据对象的相似性尽可能大，同时不在同一个簇中的数据对象的差异性也尽可能地大。也即聚类后同一类的数据尽可能聚集到一起，不同

经验风险最小化与结构风险最小化经验风险最小化经验风险最小化的策略认为，经验风险最小的模型是最优的模型：min⁡f∈F1N∑i=1NL(yi,f(xi))(7)\min_{f\in F}\frac{1}{N}\sum^N_{i=1}L(y_i,f(x_i))\tag7f∈Fmin​N1​i=1∑N​L(yi​,f(xi​))(7)当样本容量足够大时，经验风险最小化能保证有很好的学习效果。比如，极大似然估计就是经验风险最小化的一个例子，当模型是条件概率分布，损失函数是对数损失函数时，经验风险最小化就

范数与距离文章目录范数与距离距离的概念范数的概念向量范数与矩阵范数的理解范数的分类1.L-P范数2.L0范数3.L1范数4.L2范数距离的分类1.欧氏距离——对应L2范数2.曼哈顿距离——对应L1范数距离的概念给定一个集合VVV，在VVV上定义一种新的运算：距离：V×V→R,∀x,y∈V,V \times V \rightarrow R,\forall x,y \in V,V×V→R,∀x,y∈V,在RRR中都有唯一的元素δ\deltaδ与之对应，称为x,yx,yx,y之间的距离。满足的性质：d