我对各种机器学习算法的理解（一句话）

EM算法

通过概率变换（添加隐变量），使得似然函数分解为Lowerbound+KL divergence的方式，利用KL>=0，令KL=0然后最大化lowerbound.通过不断扩大lowerbound来优化似然函数达到局部最优。

 

AdaBoost

两种权值设置，一种是通过error_rate确定的分类器的权值（随error_rate减少而增大），一种是由于犯错不断更新的instance的权重。下界：todo

 

GDBT

分列时info gain 数值上 =  互信息（信道容量）， 可以将分裂选择看做多个信道，选择容量最大的信道，这样在保证可区分能力的情况下减少了feature的数量

 

信息论

Dkl散度>0

Jenson‘s inequality -> 对数求和不等式 -> Dkl>0