ruohuanni的专栏

转载地址（http://blog.youkuaiyun.com/xinzhangyanxiang/article/details/8522078）学习概率的时候，大家一定都学过马尔科夫模型吧，当时就觉得很有意思，后来看了数学之美之隐马模型在自然语言处理中的应用后，看到隐马尔科夫模型竟然能有这么多的应用，并且取得了很好的成果，更觉的不可思议，特地深入学习了一下，这里总结出来。马尔科夫过程马尔科夫过程

问题：假设在IR中我们建立的文档-词项矩阵中，有两个词项为“learn”和“study”，在传统的向量空间模型中，认为两者独立。然而从语义的角度来讲，两者是相似的，而且两者出现频率也类似，是不是可以合成为一个特征呢？       《模型选择和规则化》谈到的特征选择的问题，就是要剔除的特征主要是和类标签无关的特征。比如“学生的名字”就和他的“成绩”无关，使用的是互信息的方法。       而

回归(regression)、梯度下降(gradient descent)本文由LeftNotEasy所有，发布于http://leftnoteasy.cnblogs.com。如果转载，请注明出处，在未经作者同意下将本文用于商业用途，将追究其法律责任。前言:上次写过一篇关于贝叶斯概率论的数学，最近时间比较紧，coding的任务比较重，不过还是抽空看了一些机器学习的书和视频，其中很推

转自：http://blog.youkuaiyun.com/yhdzw/article/details/39288581数学中最优化问题的一般表述是求取，使，其中是n维向量，是的可行域，是上的实值函数。凸优化问题是指是闭合的凸集且是上的凸函数的最优化问题，这两个条件任一不满足则该问题即为非凸的最优化问题。其中，是 凸集是指对集合中的任意两点，有，即任意两点的连线段都在集合内，直观上就是集合不会

转自：http://www.cnblogs.com/jerrylead/archive/2011/05/11/2043317.html1 问题     之前我们考虑的训练数据中样例的个数m都远远大于其特征个数n，这样不管是进行回归、聚类等都没有太大的问题。然而当训练样例个数m太小，甚至m<<n的时候，使用梯度下降法进行回归时，如果初值不同，得到的参数结果会有很大偏差（因为方程数小于

K近邻(kNN，k-NearestNeighbor)分类算法基本思想是：如果一个样本在特征空间中的k个最相似，也就是特征空间中k个最邻近的样本大多数属于某一个类别，则该样本也属于这个类别。类似与古话：近朱者赤，近墨者黑，背后自然也蕴藏着物以类聚，人以群分的思想！算法步骤：1.对数据进行归一化处理2.求每个测试样本基于训练样本的k个最近临样本3.k个最近临样本所属类别中最大的一个即位

转自：http://blog.youkuaiyun.com/zouxy09/article/details/16955347       机器学习算法与Python实践这个系列主要是参考《机器学习实战》这本书。因为自己想学习Python，然后也想对一些机器学习算法加深下了解，所以就想通过Python来实现几个比较常用的机器学习算法。恰好遇见这本同样定位的书籍，所以就参考这本书的过程来学习了。 一、