xiangcece的博客

1、K-means 聚类算法过程 顺序 过程 1 随机抽取k个样本作为最初的质心 2 开始循环 2.1 计算每个点到这些质心的距离；将每个样本点分配到离他们最近的质心，生成k个簇 2.2 对于每个簇，计算所有被分到该簇的样本点的平均值作为新的质心 3 当质心的位置不再发生变化，迭代停止，则聚类完成 当我们找到一个质心的时候，每次循环后分配到此质心上的样本（簇）都是一致的，所有样本不会从一个簇转移到另外一个簇，则质心不会再发生变化，聚类完成。 2、簇内差异 对于一个簇来说，

决策树 决策树：是由一个个“决策”所组成得树，放“决策依据”得是非叶节点，“放决策结果”的是叶节点。 ID3算法 熵：是描述信息的不确定度的，是随机变量不确定度的度量。熵越大，信息的不确定度就越大，信息越混乱，越不符合决策树分类的需求。 Ent(D)=-∑k=1∣y∣pklog2pk\sum_{k=1}^{|y|}p_{k}log_{2}p_{k}∑k=1∣y∣​pk​log2​pk​ pkp_{k}pk​是第k类样本所占的比例；D是样本集合 例如： 太阳从东边升起；西边升起p0p_{0}p0​=0 ；

核函数 非线性带来高维转换（从模型角度） 对偶表示带来内积（从优化角度） 对于一个非线性可分的问题=>转成线性可分的问题 对于原始的空间x=(x1,x2)x=(x_1,x_2)x=(x1​,x2​)二维=>Φ(x)\Phi(x)Φ(x)=>Z=(x1,x2,(x1−x2)2Z=(x_1,x_2,(x_1-x_2)^{2}Z=(x1​,x2​,(x1​−x2​)2) 三维 高维空间比低维空间更易线性可分 二、核函数Kernel Function k(x,x′)=Φ(x)TΦ(x′)=&l