ProgramMonkey_z的博客

决策树——CART算法1.基尼值2.基尼指数CART(Classification and Regression Tree)算法是一种构造决策树的算法。它是以基尼指数作为选择划分属性的评价标准，与信息熵类似，基尼指数越小意味着数据的纯度越高1.基尼值基尼值定义为：其中：D —— 样本集合Pk —— 第k类样本所占比例（k取1,2,…,|y|）基尼值代表了从样本集合中随机选取两个样本...

决策树——ID3算法1.信息熵2.信息增益3.西瓜数据集来构造决策树用信息增益大小作为决策树属性选择划分的依据是ID3算法构造决策树的核心思想1.信息熵在讲信息增益之前就不得不提到信息熵，信息熵定义为：其中：D —— 样本集合Pk —— 第k类样本所占比例（k取1,2,…,|y|）它是度量样本集合纯度最常用的指标，通常En(t)越小样本集合纯度越高。2.信息增益信息增益定义为：...