csy463168656的专栏

原文链接：http://www.albertauyeung.com/mf.php基本原理NMF，非负矩阵分解，它的目标很明确，就是将大矩阵分解成两个小矩阵，使得这两个小矩阵相乘后能够还原到大矩阵。而非负表示分解的矩阵都不包含负值。 从应用的角度来说，矩阵分解能够用于发现两种实体间的潜在特征，一个最常见的应用就是协同过滤中的预测打分值，而从协同过滤的这个角度来说，非负也很容易理解：打分都是正

以下转自：http://xiaofeng1982.blog.163.com/blog/static/315724582009824103618623/隐马尔可夫模型(HMM)简介请各位读者深吸一口气……呼…… 开始……（一）阿黄是大家敬爱的警官，他性格开朗，身体强壮，是大家心目中健康的典范。但是，近一个月来阿黄的身体状况出现异常：情绪失控的状况时有发

上一讲主要是关于优化的问题，这一讲就正式开始SVM之旅了，首先看下图：至此，如果我们找到alpha，为了进行预测，我们只需要就算x和对应的训练样本的内积就可以了，而前面已经证明了那些不是支持向量对应的alpha是0，所以我们真正需要计算的是那些支持向量的内积。到目前为止SVM还只能处理线性的情况，在下一讲通过kernel的讲解后就可以推广到非线性的情况了。

最近在看机器学习，感觉有点朦胧，于是写下这些知识点，在自己忘记的时候能够翻出来看看。我是以stanford的cs229的讲义为蓝本的，上面有些洋文我感觉翻译出来就失去了原有的味道，（主要是我不会翻译）。首先我们可以回顾下logistic regression ，对于给定输入x，需要预测输出，为此我们选择了，其实它的原型就是一个sigmoid function, ，然后通过梯度下降法估计出θ的值

拉格朗日对偶因为下一讲要用到这方面的知识，所以先在这里学习下，它其实就是我们本科阶段所学的拉格朗日乘数法：以上来自百度百科。只不过在这里我们是多维的。首先我们的优化问题如下：

本文转自：http://blog.pluskid.org/?p=17 Clustering 中文翻译作“聚类”，简单地说就是把相似的东西分到一组，同 Classification (分类)不同，对于一个 classifier ，通常需要你告诉它“这个东西被分为某某类”这样一些例子，理想情况下，一个 classifier 会从它得到的训练集中进行“学习”，从而具备对未知数据进行分类的能力，这

Principal components analysis的中心思想就是找到那些比较相近的特征用一个特征来代替它们，从而达到降维的目的。Andrew Ng在Lecture中举了一个这样的例子，有一个数据集。在进行PCA之前，我们先要对数据进行如下预处理：上图中投影点具有较大的方差，而下图中投影点具有较小的方差，被认为是噪声。我们将选择一个单位长度的u是的

到目前为止，SVM为描述为在低维，或者映射到高维后线性可分，然而对于有一些outliers的情况，我们所得到的超平面就不一定是最好的，就像下图中的一样，这个outliers明显影响了超平面的划分：为了让这个算法，对outliers变得不那么敏感，我们对优化问题加入了regularization：和之前的结果比较，发现唯一的不同是alpha多了一个上限C，这样一个可以容忍ou

最后的最后多说一句关于上面的特征映射到维的特征空间，其实如果给的那个例子用它来算应该是10维，而作者写出了13维，多的那三维是作者把，这对于最后的结果没有影响，因为我们可以认为上面作者没有合并同类项，如果写成10维，那就是合并同类项之后的结果。

（2）到（3）利用了Jensen不等式，考虑到