弘一的博客

最近学习了矩阵的空间，以及各个空间的关系，为了以后查阅方便，便做个笔记，有错误的地方请大家指正一下。数学符号 符号 意义 Rn\mathbb{R}^n n维实空间 Rm×n\mathbb{R}^{m\times n} mxn的实矩阵集合 TT 转置 det(A)det(A) 行列式 C(A)C(A) 列空间 N(A)N(A) 零空间 A−1

今天看到PCA，查了资料，觉得还是PCA的数学原理讲的最易懂，那么我就厚颜将博文重写了一遍，加深印象，也作为读文笔记。数据的向量表示及降维问题一般情况下，在数据挖掘和机器学习中，数据被表示为向量。例如某个淘宝店2012年全年的流量及交易情况可以看成一组记录的集合，其中每一天的数据是一条记录，格式如下：(日期, 浏览量, 访客数, 下单数, 成交数, 成交金额)其中“日期”是一个记录标志而非度量值，而

今天学习SVD原理，查看一些博文与资料，为了方便复习，做一下学习笔记。SVD不仅是一个数学问题，在工程应用中的很多地方都有它的身影，比如前面讲的PCA，掌握了SVD原理后再去看PCA那是相当简单的，在推荐系统方面，SVD更是名声大噪，将它应用于推荐系统的是Netflix大奖的获得者Koren，可以在Google上找到他写的文章。满秩分解 设A∈Cm×nrA \in C_r^{m\times n}

KKT(Karush-Kuhn-Tucker)条件是求解约束优化问题的重要方法，在有等式约束时使用拉格朗日乘子法，在有不等约束时使用KKT条件。条件一般的优化问题： minimize\mathrm{minimize}     f(x)(1)f(x) \tag{1} subject to ai(x)=0fori=0,1,⋯,p(2)a_i \mathrm(x) =0 \;

ID3公式设D为用类别对训练元组进行的划分，则D的熵（entropy）表示为： info(D)=−∑i=1npilogpi(1)info(D) = -\sum_{i=1}^np_i\log p_i \tag{1}现在我们假设将训练元组D按属性A进行划分，则A对D划分的期望信息为： infoA(D)=∑i=jv|Dj||D|info(Dj)(2)info_A(D) = \sum_{i=j}^v\

最近学习层次聚类算法，厚颜转载一篇博文。 参考： 层次聚类算法的原理及实现Hierarchical Clustering层次聚类(Hierarchical Clustering)是聚类算法的一种，通过计算不同类别数据点间的相似度来创建一棵有层次的嵌套聚类树。在聚类树中，不同类别的原始数据点是树的最低层，树的顶层是一个聚类的根节点。聚类模式： 1)自底向上型（agglomerative）