aldenphy的专栏

作者：July、参考：十三个经典算法研究与总结、目录+索引，本人第一大原创作品。原文见：http://blog.youkuaiyun.com/v_JULY_v/article/details/6228235内容说明：I、 本文原名为：当今世界最受人们重视的十大经典算法，后改为如上题目。II、本文分为俩部分：    第一部分、来自圣经的十大算法：为某网友票选出来的十个来自圣经的算

以下内容转载自http://www.cnblogs.com/ziqiao/archive/2011/12/13/2286273.html 实验室最近用到nmi( Normalized Mutual information )评价聚类效果,在网上找了一下这个算法的实现,发现满意的不多.浙江大学蔡登教授有一个，http://www.zjucadcg.cn/dengcai/Data/code

EM是我一直想深入学习的算法之一，第一次听说是在NLP课中的HMM那一节，为了解决HMM的参数估计问题，使用了EM算法。在之后的MT中的词对齐中也用到了。在Mitchell的书中也提到EM可以用于贝叶斯网络中。下面主要介绍EM的整个推导过程。1. Jensen不等式      回顾优化理论中的一些概念。设f是定义域为实数的函数，如果对于所有的实数x，，那么f是凸函数。当x是

最优化算法是实用性、实践性很强的学问；但是要想在使用中选择确定最适合的优化算法，又必须具备一定的理论基础，特别是要知道每一种算法的设计思想是什么。这是我经过本课的学习，获得的最大感受与心得。拟牛顿法变种众多，实际中应用广泛。本文就拟牛顿法进行比较全面的探讨，特别是考察每种变种算法的设计思想以及不同变种算法之间的横向对比。1 牛顿法介绍拟牛顿法之前必须简要回顾经典牛顿法。

协方差的定义 对于一般的分布，直接代入E(X)之类的就可以计算出来了，但真给你一个具体数值的分布，要计算协方差矩阵，根据这个公式来计算，还真不容易反应过来。网上值得参考的资料也不多，这里用一个例子说明协方差矩阵是怎么计算出来的吧。记住，X、Y是一个列向量，它表示了每种情况下每个样本可能出现的数。比如给定则X表示x轴可能出现的数，Y表示y轴可能出现的。

全局和局部序列比对:      全局序列比对  尝试找到两个完整的序列 S1 和 S2 之间的最佳比对。如S1=GCCCTAGCG S2=GCGCAATG 如果设定每个匹配字符为1分，每个空格为-2分，每个不匹配为-1分，则下面的比对就是全局最优比对：S1'=GCCCTAGCG S2'=GCGC_AATG,连字符“_”代表空格。在 S2' 中有五个匹配字符，一个空格（或者反过来说，在 S1'