zz_smallred的博客

手写的公式实在很难搬上来，就直接照片吧… 1.线性可分 首先先普及SVM的一些基本知识： 在这之前，假设读者们对线性分类模型和向量矩阵求导有大概的了解。 给定训练样本集D={(x1,y1x_1,y_1x1​,y1​),(x2,y2x_2,y_2x2​,y2​),…,(xm,ymx_m,y_mxm​,ym​)}，yi∈(−1,+1)y_i \in (-1,+1)yi​∈(−1,+1) ，线性分类器...

CART决策树使用“基尼指数”（Gini index）来选择划分属性。书上并没有写出具体的例子供参考，这里给出一个例子。 首先先列出求取基尼指数所需要用的公式。 数据集D的纯度可用基尼值来度量。Gini(D)越小，则数据集D的纯度越高。（Pk指的是正例在总体中的比例） 属性a的基尼指数定义为： 求取得出属性a的基尼指数后，再求取其他属性的基尼指数，最后比较获得基尼指数最小的属性为最优划分属性，...