redfivehit的专栏

http://blog.youkuaiyun.com/u013066730/article/details/54138511Adaboost 算法的原理与推导0 引言    一直想写Adaboost来着，但迟迟未能动笔。其算法思想虽然简单“听取多人意见，最后综合决策”，但一般书上对其算法的流程描述实在是过于晦涩。昨日11月1日下午，邹博在我组

Apriori算法简介：  Apriori算法是一种挖掘关联规则的频繁项集算法首先，找出频繁“1项集”的集合，该集合记作L1。L1用于找频繁“2项集”的集合L2，而L2用于找L3。如此下去，直到不能找到“K项集”。找每个Lk都需要一次数据库扫描。

在之前介绍过决策树的ID3算法实现，今天主要来介绍决策树的另一种实现，即CART算法。 Contents    1. CART算法的认识   2. CART算法的原理   3. CART算法的实现  1. CART算法的认识    Classification And Regression Tree，即分类回归

食堂的大师傅炒了一份菜，要等分成两份给两个人吃——显然没有必要拿来天平一点一点的精确的去称分量，最简单的办法是先随意的把菜分到两个碗中，然后观察是否一样多，把比较多的那一份取出一点放到另一个碗中，这个过程一直迭代地执行下去，直到大家看不出两个碗所容纳的菜有什么分量上的不同为止EM算法就是这样，假设我们估计知道A和B两个参数，在开始状态下二者都是未知的，并且知道了A的信息就可以得到B的信

求最大似然函数估计值的一般步骤：（1）写出似然函数；（2）对似然函数取对数，并整理；（3）求导数，令导数为0，得到似然方程；（4）解似然方程，得到的参数即为所求；假设吸烟人群的肺癌的概率比不吸烟人群高5倍，这时有人肺癌病人，问你他是否吸烟，你回答什么正确的概率更大？你感觉答案可能是吸烟，这就是 EM 的思路，就是根据经验选择能让结果正确概率更大的那一个。思路

朴素贝叶斯分类的正式定义如下：      1、设为一个待分类项，而每个a为x的一个特征属性。      2、有类别集合。      3、计算。      4、如果，则。      那么现在的关键就是如何计算第3步中的各个条件概率。我们可以这么做：      1、找到一个已知分类的待分类项集合，这个集合叫做训练样本集。      2、统计得到在