xixihaha的博客

K - means cluster1.K均值聚类（迭代算法）：C_center：初始化K个聚类中心计算样本集合到C_center的距离（本例使用欧几里德距离）按照最近原则进行聚类，如果聚类中心不发生改变，结束如果发生改变，得到新的聚类中心->C_center，重复直到收敛2.使用条件：先验知识知道样本集合能够K分类（才能得到较好的聚类效果），属于无监督学习；3.优缺点：

Maximum Likelihood，ML（最大似然估计）1. 问题描述（属于监督学习，已知分类）：已知：训练样本已知分类的先验概率P(wi)，以及各个分类的概率密度分布；所求：ML做的事情是在已知分布的情况下进行参数估计；2. ML要求说明：基于贝叶斯决策P(wi|x)=(P(x|wi)*P(wi))/P(x)；似然函数定义：L(θ)=P(D|θ)

## 原理 ##**1、二项logistic模型**p(y=1|x) = exp(w\*x)/(1+exp(w\*x))p(y=0|x) = 1/(1+exp(w\*x))使用这种形式而不使用阶跃函数原因：由于阶跃函数在0点没有导数**2、模型参数优化**如何估计模型参数w：极大似然估计梯度上升法：极大化对数似然函数Lw更新公式：w += x*(y - sigmoid(w\*x))推导