一步一步学习 C4.5 算法

C4.5算法的流程和程序分析 C4.5程序分析 1.     使用方法 1)C45 –f golf (golf.data为数据文件名 ),生成golf.tree文件,即只创建树。 2)C45 –u golf(golf.data为数据文件名),除生成golf.tree文件,还使用evaluate方法进行完整性检测,生成正确率和错误率,并且生成预测类。 2.     算法流程 1)输入接口 获取相应的一些参数 2 阅读详情

作者:chen_h
微信号 & QQ:862251340
微信公众号:coderpai


决策树现在仍然是数据科学界的热门话题。 在这里,ID3是最常见的传统决策树算法,但它有瓶颈。 属性必须是名义值,数据集不得包含缺失数据,最后算法往往会过度拟合。 在这里,ID3的发明者Ross Quinlan对这些瓶颈做了一些改进,并创建了一个名为C4.5的新算法。**(ID3 还有一些什么瓶颈,需要调研一下。) **现在,该算法可以创建更通用的模型,包括连续数据,并可以处理丢失的数据。 此外,一些资源如 Weka 将此算法命名为 J48。 实际上,它指的是C4.5版本8的重新实现。

我们将为以下数据集创建决策表。 它告知决策因素。 如果你学习了上面的 ID3 算法可能对数据集很熟悉。 不同之处在于温度和湿度列具有连续值而不是标称值。

DayOutlookTemp.HumidityWindDecision
1Sunny8585WeakNo
2Sunny8090StrongNo
3Overcast8378WeakYes
4Rain7096WeakYes
5Rain6880WeakYes
6Rain6570StrongNo
7Overcast6465StrongYes
8Sunny7295WeakNo
9Sunny6970WeakYes
10Rain7580WeakYes
11Sunny7570StrongYes
12Overcast7290StrongYes
13Overcast8175WeakYes
14Rain7180StrongNo

我们将在 ID3 示例中完成我们所做的工作。首先,我们需要计算全局熵。上表中有 14 个实例,9 个实例指的是 yes 的决定,5 个实例指的是 no 的决定。

Eneropy(Decision)=∑−p(x)∗log2p(x)=−p(yes)∗log2p(yes)−p(no)∗log2p(no)=−914∗log2(914)−514∗log2(514)=0.940Eneropy(Decision)=\sum-p(x)*log_2{p(x)} = -p(yes)*log_2{p(yes)}-p(no)*log_2{p(no)}=-\frac{9}{14}*log_2(\frac{9}{14})-\frac{5}{14}*log_2(\frac{5}{14})=0.940Eneropy(Decision)=∑−p(x)∗log2​p(x)=−p(yes)∗log2​p(yes)−p(no)∗log2​p(no)=−149​∗log2​(149​)−145​∗log2​(145​)=0.940

在 ID3 算法中,我们计算了每个属性的信息增益。在这里,我们需要计算信息增益比,而不是信息增益。

GainRatio(A)=Gain(A)/SplitInfo(A)GainRatio(A)=Gain(A)/SplitInfo(A)GainRatio(A)=Gain(A)/SplitInfo(A)

SplitInfo(A)=−∑∣Dj∣∣D∣∗log2(∣Dj∣∣D∣)SplitInfo(A)=-\sum\frac{|D_j|}{|D|}*log_2(\frac{|D_j|}{|D|})SplitInfo(A)=−∑∣D∣∣Dj​∣​∗log2​(∣D∣∣Dj​∣​)

Wind 因子

Wind 是一个很常规的因子,它有两种属性 weak 和 strong。

Gain(Decision,Wind)=Entropy(Decision)–∑(p(Decision∣Wind)∗Entropy(Decision∣Wind))Gain(Decision, Wind) = Entropy(Decision) – ∑ ( p(Decision|Wind) * Entropy(Decision|Wind) )Gain(Decision,Wind)=Entropy(Decision)–∑(p(Decision∣Wind)∗Entropy(Decision∣Wind))

Gain(Decision,Wind)=Entropy(Decision)–[p(Decision∣Wind=Weak)∗Entropy(Decision∣Wind=Weak)]+[p(Decision∣Wind=Strong)∗Entropy(Decision∣Wind=Strong)]Gain(Decision, Wind) = Entropy(Decision) – [ p(Decision|Wind=Weak) * Entropy(Decision|Wind=Weak) ] + [ p(Decision|Wind=Strong) * Entropy(Decision|Wind=Strong) ]Gain(Decision,Wind)=Entropy(Decision)–[p(Decision∣Wind=Weak)∗Entropy(Decision∣Wind=Weak)]+[p(Decision∣Wind=Strong)∗Entropy(Decision∣Wind=Strong)]

这里有 8 个 weak 实例,2 个决策是 no,6 个决策是 yes 。

Entropy(Decision∣Wind=Weak)=–p(No)∗log2p(No)–p(Yes)∗log2p(Yes)=–(2/8).log2(2/8)–(6/8).log2(6/8)=0.811Entropy(Decision|Wind=Weak) = – p(No) * log_2p(No) – p(Yes) * log_2p(Yes) = – (2/8) . log2(2/8) – (6/8) . log2(6/8) = 0.811Entropy(Decision∣Wind=Weak)=–p(No)∗log2​p(No)–p(Yes)∗log2​p(Yes)=–(2/8).log2(2/8)–(6/8).log2(6/8)=0.811

Entropy(Decision∣Wind=Strong)=–(3/6)∗log2(3/6)–(3/6)∗log2(3/6)=1Entropy(Decision|Wind=Strong) = – (3/6) * log2(3/6) – (3/6) * log2(3/6) = 1Entropy(Decision∣Wind=Strong)=–(3/6)∗log2(3/6)–(3/6)∗log2(3/6)=1

Gain(Decision,Wind)=0.940–(8/14)∗(0.811)–(6/14)∗(1)=0.940–0.463–0.428=0.049Gain(Decision, Wind) = 0.940 – (8/14)*(0.811) – (6/14)*(1) = 0.940 – 0.463 – 0.428 = 0.049Gain(Decision,Wind)=0.940–(8/14)∗(0.811)–(6/14)∗(1)=0.940–0.463–0.428=0.049

当 wind=weak 时,我们做了 8 个决策;当 wind=strong 时,我们做了 6 个决策。

SplitInfo(Decision,Wind)=−(8/14)∗log2(8/14)–(6/14)∗log2(6/14)=0.461+0.524=0.985SplitInfo(Decision, Wind) = -(8/14)*log_2(8/14) – (6/14)*log_2(6/14) = 0.461 + 0.524 = 0.985SplitInfo(Decision,Wind)=−(8/14)∗log2​(8/14)–(6/14)∗log2​(6/14)=0.461+0.524=0.985

GainRatio(Decision,Wind)=Gain(Decision,Wind)/SplitInfo(Decision,Wind)=0.049/0.985=0.049GainRatio(Decision, Wind) = Gain(Decision, Wind) / SplitInfo(Decision, Wind) = 0.049 / 0.985 = 0.049GainRatio(Decision,Wind)=Gain(Decision,Wind)/SplitInfo(Decision,Wind)=0.049/0.985=0.049

Outlook 因子

Outlook 也是一个名义上的因子,它可能的取值是 sunny,overcast 和 rain。

Gain(Decision,Outlook)=Entropy(Decision)–∑(p(Decision∣Outlook)∗Entropy(Decision∣Outlook))Gain(Decision, Outlook) = Entropy(Decision) – ∑ ( p(Decision|Outlook) * Entropy(Decision|Outlook) )Gain(Decision,Outlook)=Entropy(Decision)–∑(p(Decision∣Outlook)∗Entropy(Decision∣Outlook))

Gain(Decision,Outlook)=Entropy(Decision)–p(Decision∣Outlook=Sunny)∗Entropy(Decision∣Outlook=Sunny)–p(Decision∣Outlook=Overcast)∗Entropy(Decision∣Outlook=Overcast)–p(Decision∣Outlook=Rain)∗Entropy(Decision∣Outlook=Rain)Gain(Decision, Outlook) = Entropy(Decision) – p(Decision|Outlook=Sunny) * Entropy(Decision|Outlook=Sunny) – p(Decision|Outlook=Overcast) * Entropy(Decision|Outlook=Overcast) – p(Decision|Outlook=Rain) * Entropy(Decision|Outlook=Rain)Gain(Decision,Outlook)=Entropy(Decision)–p(Decision∣Outlook=Sunny)∗Entropy(Decision∣Outlook=Sunny)–p(Decision∣Outlook=Overcast)∗Entropy(Decision∣Outlook=Overcast)–p(Decision∣Outlook=Rain)∗Entropy(Decision∣Outlook=Rain)

这里有 5 个实例是 sunny,其中有 3 个实例的决策是 no,2 个实例的决策是 yes。

Entropy(Decision∣Outlook=Sunny)=–p(No)∗log2p(No)–p(Yes)∗log2p(Yes)=−(3/5)∗log2(3/5)–(2/5)∗log2(2/5)=0.441+0.528=0.970Entropy(Decision|Outlook=Sunny) = – p(No) * log2p(No) – p(Yes) * log2p(Yes) = -(3/5)*log2(3/5) – (2/5)*log2(2/5) = 0.441 + 0.528 = 0.970Entropy(Decision∣Outlook=Sunny)=–p(No)∗log2p(No)–p(Yes)∗log2p(Yes)=−(3/5)∗log2(3/5)–(2/5)∗log2(2/5)=0.441+0.528=0.970

Entropy(Decision∣Outlook=Overcast)=–p(No)∗log2p(No)–p(Yes)∗log2p(Yes)=−(0/4)∗log2(0/4)–(4/4)∗log2(4/4)=0Entropy(Decision|Outlook=Overcast) = – p(No) * log2p(No) – p(Yes) * log2p(Yes) = -(0/4)*log2(0/4) – (4/4)*log2(4/4) = 0Entropy(Decision∣Outlook=Overcast)=–p(No)∗log2p(No)–p(Yes)∗log2p(Yes)=−(0/4)∗log2(0/4)–(4/4)∗log2(4/4)=0

Entropy(Decision∣Outlook=Rain)=–p(No)∗log2p(No)–p(Yes)∗log2p(Yes)=−(2/5)∗log2(2/5)–(3/5)∗log2(3/5)=0.528+0.441=0.970Entropy(Decision|Outlook=Rain) = – p(No) * log2p(No) – p(Yes) * log2p(Yes) = -(2/5)*log2(2/5) – (3/5)*log2(3/5) = 0.528 + 0.441 = 0.970Entropy(Decision∣Outlook=Rain)=–p(No)∗log2p(No)–p(Yes)∗log2p(Yes)=−(2/5)∗log2(2/5)–(3/5)∗log2(3/5)=0.528+0.441=0.970

Gain(Decision,Outlook)=0.940–(5/14)∗(0.970)–(4/14)∗(0)–(5/14)∗(0.970)–(5/14)∗(0.970)=0.246Gain(Decision, Outlook) = 0.940 – (5/14)*(0.970) – (4/14)*(0) – (5/14)*(0.970) – (5/14)*(0.970) = 0.246Gain(Decision,Outlook)=0.940–(5/14)∗(0.970)–(4/14)∗(0)–(5/14)∗(0.970)–(5/14)∗(0.970)=0.246

这里 sunny 的实例是 5 个,overcast 的实例是 4 个,rain 的实例是 5 个。

SplitInfo(Decision,Outlook)=−(5/14)∗log2(5/14)−(4/14)∗log2(4/14)−(5/14)∗log2(5/14)=1.577SplitInfo(Decision, Outlook) = -(5/14)*log2(5/14) -(4/14)*log2(4/14) -(5/14)*log2(5/14) = 1.577SplitInfo(Decision,Outlook)=−(5/14)∗log2(5/14)−(4/14)∗log2(4/14)−(5/14)∗log2(5/14)=1.577

GainRatio(Decision,Outlook)=Gain(Decision,Outlook)/SplitInfo(Decision,Outlook)=0.246/1.577=0.155GainRatio(Decision, Outlook) = Gain(Decision, Outlook)/SplitInfo(Decision, Outlook) = 0.246/1.577 = 0.155GainRatio(Decision,Outlook)=Gain(Decision,Outlook)/SplitInfo(Decision,Outlook)=0.246/1.577=0.155

Humidity 因子

作为一个例外,humidity 是一个连续的因子。我们需要将连续值转换为标签数据。C4.5 算法建议基于阈值执行二进制分割。阈值应该是为该属性提供最大增益的值。让我们关注 humidity 因子。首先,我们需要将 Humidity 因子从最小到最大排序。

DayHumidityDecision
765Yes
670No
970Yes
1170Yes
1375Yes
378Yes
580Yes
1080Yes
1480No
185No
290No
1290Yes
895No
496Yes

现在,我们需要迭代所有 humidity 值并将数据集分为两部分,作为小于或等于当前值的实例,以及大于当前值的实例。我们将计划每一步的增益或者增益比。使得增益最大化的值将是阈值。

我们先假设 65 作为 humidity 阈值,那么我们可以来计算信息增益比,如下:

Entropy(Decision∣Humidity&lt;=65)=–p(No)∗log2p(No)–p(Yes)∗log2p(Yes)=−(0/1)∗log2(0/1)–(1/1)∗log2(1/1)=0Entropy(Decision|Humidity&lt;=65) = – p(No) * log2p(No) – p(Yes) * log2p(Yes) = -(0/1)*log2(0/1) – (1/1)*log2(1/1) = 0Entropy(Decision∣Humidity<=65)=–p(No)∗log2p(No)–p(Yes)∗log2p(Yes)=−(0/1)∗log2(0/1)–(1/1)∗log2(1/1)=0

Entropy(Decision∣Humidity&gt;65)=−(5/13)∗log2(5/13)–(8/13)∗log2(8/13)=0.530+0.431=0.961Entropy(Decision|Humidity&gt;65) = -(5/13)*log2(5/13) – (8/13)*log2(8/13) =0.530 + 0.431 = 0.961Entropy(Decision∣Humidity>65)=−(5/13)∗log2(5/13)–(8/13)∗log2(8/13)=0.530+0.431=0.961

Gain(Decision,Humidity&lt;&gt;65)=0.940–(1/14)∗0–(13/14)∗(0.961)=0.048Gain(Decision, Humidity&lt;&gt; 65) = 0.940 – (1/14)*0 – (13/14)*(0.961) = 0.048Gain(Decision,Humidity<>65)=0.940–(1/14)∗0–(13/14)∗(0.961)=0.048

上面这个符号指决策树的分支小于或者等于65,大于65,两种情况,并不是指 humidity 不等于 65

SplitInfo(Decision,Humidity&lt;&gt;65)=−(1/14)∗log2(1/14)−(13/14)∗log2(13/14)=0.371SplitInfo(Decision, Humidity&lt;&gt; 65) = -(1/14)*log2(1/14) -(13/14)*log2(13/14) = 0.371SplitInfo(Decision,Humidity<>65)=−(1/14)∗log2(1/14)−(13/14)∗log2(13/14)=0.371

GainRatio(Decision,Humidity&lt;&gt;65)=0.126GainRatio(Decision, Humidity&lt;&gt; 65) = 0.126GainRatio(Decision,Humidity<>65)=0.126

再次检查 70 作为 humidity 的阈值。

Entropy(Decision∣Humidity&lt;=70)=–(1/4)∗log2(1/4)–(3/4)∗log2(3/4)=0.811Entropy(Decision|Humidity&lt;=70) = – (1/4)*log2(1/4) – (3/4)*log2(3/4) = 0.811Entropy(Decision∣Humidity<=70)=–(1/4)∗log2(1/4)–(3/4)∗log2(3/4)=0.811

Entropy(Decision∣Humidity&gt;70)=–(4/10)∗log2(4/10)–(6/10)∗log2(6/10)=0.970Entropy(Decision|Humidity&gt;70) = – (4/10)*log2(4/10) – (6/10)*log2(6/10) = 0.970Entropy(Decision∣Humidity>70)=–(4/10)∗log2(4/10)–(6/10)∗log2(6/10)=0.970

Gain(Decision,Humidity&lt;&gt;70)=0.940–(4/14)∗(0.811)–(10/14)∗(0.970)=0.940–0.231–0.692=0.014Gain(Decision, Humidity&lt;&gt; 70) = 0.940 – (4/14)*(0.811) – (10/14)*(0.970) = 0.940 – 0.231 – 0.692 = 0.014Gain(Decision,Humidity<>70)=0.940–(4/14)∗(0.811)–(10/14)∗(0.970)=0.940–0.231–0.692=0.014

SplitInfo(Decision,Humidity&lt;&gt;70)=−(4/14)∗log2(4/14)−(10/14)∗log2(10/14)=0.863SplitInfo(Decision, Humidity&lt;&gt; 70) = -(4/14)*log2(4/14) -(10/14)*log2(10/14) = 0.863SplitInfo(Decision,Humidity<>70)=−(4/14)∗log2(4/14)−(10/14)∗log2(10/14)=0.863

GainRatio(Decision,Humidity&lt;&gt;70)=0.016GainRatio(Decision, Humidity&lt;&gt; 70) = 0.016GainRatio(Decision,Humidity<>70)=0.016

再次检查 75 作为 humidity 的阈值。

Entropy(Decision∣Humidity&lt;=75)=–(1/5)∗log2(1/5)–(4/5)∗log2(4/5)=0.721Entropy(Decision|Humidity&lt;=75) = – (1/5)*log2(1/5) – (4/5)*log2(4/5) = 0.721Entropy(Decision∣Humidity<=75)=–(1/5)∗log2(1/5)–(4/5)∗log2(4/5)=0.721

Entropy(Decision∣Humidity&gt;75)=–(4/9)∗log2(4/9)–(5/9)∗log2(5/9)=0.991Entropy(Decision|Humidity&gt;75) = – (4/9)*log2(4/9) – (5/9)*log2(5/9) = 0.991Entropy(Decision∣Humidity>75)=–(4/9)∗log2(4/9)–(5/9)∗log2(5/9)=0.991

Gain(Decision,Humidity&lt;&gt;75)=0.940–(5/14)∗(0.721)–(9/14)∗(0.991)=0.940–0.2575–0.637=0.045Gain(Decision, Humidity&lt;&gt; 75) = 0.940 – (5/14)*(0.721) – (9/14)*(0.991) = 0.940 – 0.2575 – 0.637 = 0.045Gain(Decision,Humidity<>75)=0.940–(5/14)∗(0.721)–(9/14)∗(0.991)=0.940–0.2575–0.637=0.045

SplitInfo(Decision,Humidity&lt;&gt;75)=−(5/14)∗log2(4/14)−(9/14)∗log2(10/14)=0.940SplitInfo(Decision, Humidity&lt;&gt; 75) = -(5/14)*log2(4/14) -(9/14)*log2(10/14) = 0.940SplitInfo(Decision,Humidity<>75)=−(5/14)∗log2(4/14)−(9/14)∗log2(10/14)=0.940

GainRatio(Decision,Humidity&lt;&gt;75)=0.047GainRatio(Decision, Humidity&lt;&gt; 75) = 0.047GainRatio(Decision,Humidity<>75)=0.047

例子讲的大家应该都明白了。现在,我们跳过计算并直接写出结果。

Gain(Decision,Humidity&lt;&gt;78)=0.090,GainRatio(Decision,Humidity&lt;&gt;78)=0.090Gain(Decision, Humidity &lt;&gt; 78) =0.090, GainRatio(Decision, Humidity &lt;&gt; 78) =0.090Gain(Decision,Humidity<>78)=0.090,GainRatio(Decision,Humidity<>78)=0.090

Gain(Decision,Humidity&lt;&gt;80)=0.101,GainRatio(Decision,Humidity&lt;&gt;80)=0.107Gain(Decision, Humidity &lt;&gt; 80) = 0.101, GainRatio(Decision, Humidity &lt;&gt; 80) = 0.107Gain(Decision,Humidity<>80)=0.101,GainRatio(Decision,Humidity<>80)=0.107

Gain(Decision,Humidity&lt;&gt;85)=0.024,GainRatio(Decision,Humidity&lt;&gt;85)=0.027Gain(Decision, Humidity &lt;&gt; 85) = 0.024, GainRatio(Decision, Humidity &lt;&gt; 85) = 0.027Gain(Decision,Humidity<>85)=0.024,GainRatio(Decision,Humidity<>85)=0.027

Gain(Decision,Humidity&lt;&gt;90)=0.010,GainRatio(Decision,Humidity&lt;&gt;90)=0.016Gain(Decision, Humidity &lt;&gt; 90) = 0.010, GainRatio(Decision, Humidity &lt;&gt; 90) = 0.016Gain(Decision,Humidity<>90)=0.010,GainRatio(Decision,Humidity<>90)=0.016

Gain(Decision,Humidity&lt;&gt;95)=0.048,GainRatio(Decision,Humidity&lt;&gt;95)=0.128Gain(Decision, Humidity &lt;&gt; 95) = 0.048, GainRatio(Decision, Humidity &lt;&gt; 95) = 0.128Gain(Decision,Humidity<>95)=0.048,GainRatio(Decision,Humidity<>95)=0.128

因为 humidity 不能大于 96 ,所以我们不再继续往上计算了。

如上面计算的结果,当阈值等于 80 时,增益比最大化。这意味着我们需要在 humidity = 80 来创建信息增益比。

让我们总结一下计算出的增益和增益比。 Outlook 因子具有最大化的增益和增益比。这意味着我们需要将 Outlook 决策放在决策树的根目录中。

AttributeGainGainRatio
Wind0.0490.049
Outlook0.2460.155
Humidity <> 800.1010.107

在那以后,我们将像 ID3 一样应用类似的步骤并创建以下决策树。Outlook 被放入根节点。现在,我们应该为不同的分支寻找策略。

Outlook = Sunny

我们将 humidity 的值分为大于 80 和 小于等于 80。令人惊讶的是,如果在 Outlook = sunny 时,humidity 大于 80,那么决策一定是 no。同样,如果 Outlook = sunny 时,humidity 小于等于 80,那么决策一定是 yes。

DayOutlookTemp.Hum. > 80WindDecision
1Sunny85YesWeakNo
2Sunny80YesStrongNo
8Sunny72YesWeakNo
9Sunny69NoWeakYes
11Sunny75NoStrongYes
Outlook = overcast

如果 outlook=overcast ,那么不管别的参数是什么取值,决策都是 yes 。

DayOutlookTemp.Hum. > 80WindDecision
3Overcast83NoWeakYes
7Overcast64NoStrongYes
12Overcast72YesStrongYes
13Overcast81NoWeakYes
outlook=rain

我们刚刚看了 outlook = rain 的场景,如果 wind = weak 时,那么决策是 yes。如果 wind = strong 时,那么决策是 no。

DayOutlookTemp.Hum. > 80WindDecision
4Rain70YesWeakYes
5Rain68NoWeakYes
6Rain65NoStrongNo
10Rain75NoWeakYes
14Rain71NoStrongNo

决策表的最终形式如下所示:

在这里插入图片描述

结论

因此,C4.5 算法解决了 ID3 中的大多数问题。该算法使用信息增益比而不是信息增益。通过这种方式,它可以创建爱你更多通用的树,而不会陷入过度拟合。此外,该算法基于增益最大化将连续属性转换为标签属性,并且以这种方式它可以处理连续数据。此外,它可以忽略包括缺少数据和处理丢失数据集的实例。

【18】机器学习算法面试八股 有三种:最大信息增益、最大信息增益率、基尼系数。而这三种不同的划分标准就对应了三种典型决策树:ID3(最大信息增益)、C4.5(最大信息增益率)、CART(基尼系数)。信息增益:指的是使用某一个属性a进行划分后,所带来的纯度(信息熵用来度量样本集合的纯度)提高的大小。一般而言,信息增益越大,意味着使用属性a来进行划分所获得的“纯度提升”越大。但信息增益对可取值较多的属性有所偏好。而信息增益率则解决了特征偏好的问题。 阅读详情

相关推荐

机器学习算法|决策树C4.5--python实现

1. C4.5算法 前一篇文章机器学习算法–决策树ID3–python实现 讲述了决策树的基本概念和最经典的ID3算法。 在那篇文章中,我没有谈到ID3算法的缺陷,更多的是侧重于介绍决策树的算法和概念。但其实,ID3算法存在这么几个缺陷: 1.信息增益准则对可取数值数目较多的属性有所偏好; 比如,如果在原来的数据中加入[序号]这一属性,运行ID3算法后,我们会发现序号被作为最优属性首...

geniusle201的博客 1万+

C4.5算法

主要内容 (1)C4.5算法简介 (2)C4.5算法节点分裂规则 ------------------------------------------------------------------------------------------------------------------------- 一、概述 参照ID3:https://blog.csdn.net/gyq423/...

gyq423的博客 682

分类算法 -- 决策树C4.5算法

在上一篇介绍ID3算法文章中,我们指出ID3算法采用信息增益作为标准,缺点在于会偏向分类更多的自变量。 在本文中,我们将介绍C4.5算法,采用信息增益比代替信息增益,从而减小某一自变量分类个数的影响。 我们假设使用的数据集为DDD,待计算的自变量为AAA,g(D,A)g(D,A)g(D,A)则信息增益比为: gr(D,A)=g(D,A)HA(D)g_r(D,A) = \dfrac{g(D,A)}{...

海军上将光之翼的博客 4380

1.决策树C4.5算法

一、概述     C4.5是一系列用在机器学习和数据挖掘的分类问题中的算法。它的目标是监督学习:给定一个数据集,其中的每一个元组都能用一组属性值来描述,每一个元组属于一个互斥的类别中的某一类。C4.5的目标是通过学习,找到一个从属性值到类别的映射关系,并且这个映射能用于对新的类别未知的实体进行分类。     C4.5由J.Ross Quinlan在ID3的基础上提出的。ID3算法用来构造决策树。决策树是一种类似流程图的树结构,其中每个内部节点(非树叶节点)表示在一个属性上的测试,每个分枝代表一个测试输出,而

zstu_lihang的博客 1万+

weka使用ID3和C4.5算法 分类实验

使用weka做分类任务并建立相应决策树(ID3算法和C4.5算法) weka安装 相关知识理论 2.1 决策树 2.2 ID3算法 2.3 C4.5算法 分类实验 3.1 数据处理 3.2 使用ID3算法 3.3 使用C4.5算法 3.4 ID3和C4.5的比较 总结 1.weka安装 weka官网Download地址: https://w

Fannie08的博客 9032

C4.5算法(一)代码实现

入门学习机器学习的十大算法,第一站就是C4.5算法。C4.5是一种决策树算法,属于监督学习。先给一个样本集,从而建立一棵决策树,然后根据这个决策树来对后续的数据做决策。

Amber_amber的专栏 9001

机器学习之C4.5算法原理

C4.5算法是由澳大利亚悉尼大学Ross Quinlan教授在1993年基于ID3算法的改进提出的,C4.5 使用信息增益率而不是信息增益作为决策树的属性选择标准。 它能够处理连续型属性或离散型属性的数据; 能够处理具有缺失值的属性数据; 使用信息增益率而不是信息增益作为决策树的属性选择标准; 对生成枝剪枝,降低过拟合。 1.信息熵                         ...

weixin_36793356的博客 8666

告别130MB/s瓶颈!用Zynq+NVMe实现1.2GB/s高速存储的PL数据分流实战

本文详细介绍了如何通过Zynq+NVMe实现1.2GB/s高速存储的PL数据分流方案,突破传统Zynq架构130MB/s的瓶颈。文章分享了PL直连NVMe的硬件架构设计、软件栈优化及性能调优实战技巧,帮助开发者实现高速数据流的稳定存储。

weixin_42653691的博客 372

C4.5算法详解(非常仔细)

首先,C4.5是决策树算法的一种。决策树算法作为一种分类算法,目标就是将具有p维特征的n个样本分到c个类别中去。相当于做一个投影,c=f(n),将样本经过一种变换赋予一种类别标签。决策树为了达到这一目的,可以把分类的过程表示成一棵树,每次通过选择一个特征pi来进行分叉。 那么怎样选择分叉的特征呢?每一次分叉选择哪个特征对样本进行划分可以最快最准确的对样本分类呢?不同的决策树算法有着不同的特征选择...

dev_zyx的博客 5044

实战指南:基于Windows Server构建企业级AAA认证体系

本文详细介绍了如何在Windows Server环境下构建企业级AAA认证体系,涵盖AD域服务部署、NPS服务器配置及华为设备对接实战。通过整合Radius协议与AD域账号管理,实现网络设备的统一认证与权限控制,提升企业IT安全管理效率。特别适用于需要零成本实现AAA认证的中大型企业。

weixin_28304023的博客 427

RT-Thread Studio与CubeMX联合编程(超级详细)

RT-Thread Studio与CubeMX联合编程 本文章参考以下文章: https://blog.csdn.net/qq_40824852/article/details/122596043 https://zhuanlan.zhihu.com/p/395106066 https://blog.csdn.net/m0_37697335/article/details/108890584 一、简介 经过上次对RT-Thread Studio的初步尝试,发现RT-Thread Studio中存在官方支

zhuzhu的博客 3万+

adaboost算法详解_【原创手写笔记】面试准备,关于决策树算法你需要知道的那些...

点击上方,选择星标或置顶,每天给你送干货!阅读大概需要12分钟跟随小博主,每天进步一丢丢作者:潘瑞东研究方向:机器学习和自然语言处理导读决策树(Decision Tree)是一种非常经典的机器学习算法,常见的决策树算法包括ID3、C4.5、CART树等。相比其他机器学习算法,决策树算法对特征选择的可解释性强,由于决策树的分枝是采用阈值划分的贪心策略,决策树能很好的处理类别等离散特征,且对...

weixin_39929254的博客 168

MFC Tab Control控件完全指南:从基础使用到高级定制

本文详细介绍了MFC中TabControl控件的使用方法和高级技巧。主要内容包括:1) TabControl基础属性设置与绑定;2) 样式定制和外观自定义;3) 创建派生类实现扩展功能;4) 动态页面管理和子对话框控制;5) 高级功能如标签拖拽排序和右键菜单。通过完整代码示例,展示了从基本应用到复杂场景的实现方案,包括多标签页管理、自定义绘制、动态添加/删除标签等核心功能,为MFC开发者提供了全面的TabControl开发指南。

专注现代C++实战,从核心语法到高性能编程,助力开发者深入掌握系统级编程精髓。 261

A01_机器学习_3.集成学习

最全!两万字带你完整掌握八大决策树! 决策树是一个非常常见并且优秀的机器学习算法,它易于理解、可解释性强,其可作为分类算法,也可用于回归模型。 本文将分三篇介绍决策树,第一篇介绍基本树(包括 ID3、C4.5、CART),第二篇介绍基于集成学习的决策树, Random Forest、Adaboost、GBDT,第三篇介绍基于 Boosting 框架的主流集成算法,包括 Xgboost 和 LightGBM。 第一篇:基本树 对于基本树我将大致从以下四个方面介绍每一个算法:思想、划分标准、剪枝策略,优缺点。

yfdyfdyfd250的博客 1015

【ARM Trace32(劳特巴赫) 使用介绍 1.3 - ARM 系统调试中常见的挑战】

每一个独立的gust os或者一个OS 内部里面美格独立的进程它使用虚拟地址是可能是重叠的,比如linux中每个用户进程它的运行地址(虚拟地址)都是0x0,这时如果想去同时调试所有进程,那么必须要有个办法把这些进程区分开来,trace32 就在虚拟地址前面加前缀的方法,这个前缀称为space id, 这个space id 实际上就是processor id或者是task id, 这样就可以把一个os内部的不同的进程区分开来。如果工具和内核中的连接是可以建立起来的,那么接下来就是调试工具使用的问题了。

CodingCos的博客 1965

手把手入门YOLO到改进优化教程 | 【P2基础篇】数据标注+环境搭建+模型训练

本节以 YOLO自定义目标检测训练为主线,带你从零开始完成 数据标注 → 环境搭建 → 模型训练 → 结果的流程。使用labelImg制作符合YOLO格式的自定义数据集。在Windows基于 Python + Conda 创建独立虚拟环境,安装 PyTorch + CUDA + ultralytics,配置 PyCharm 运行环境。本节不仅使用自定义数据集进行演示,同时也用公开数据集训练 YOLO,查看训练日志与可视化结果(PR、P/R/F1 曲线等)等。

嵌入式阿齐Archie 2万+

数据挖掘十大算法翻译——1决策树

算法介绍

xion的专栏 2075

嵌入式开发板OpenClaw部署:ESP32-S3与RISC-V平台性能评估

ESP32-S3与RISC-V平台在OpenClaw部署中的性能评估 本文对比分析了ESP32-S3和RISC-V两种嵌入式平台在OpenClaw部署中的性能表现。ESP32-S3凭借240MHz双核Xtensa LX7处理器和专用AI加速器,特别适合轻量级AI推理任务;而RISC-V凭借开源架构和模块化设计,可实现更高的能效比。文章详细介绍了ESP32-S3-DevKitC-1、SiFive HiFive1等典型开发板的硬件规格,推荐了ESP-IDF和FreeRTOS等操作系统,并提供了完整的开发环

博客 1128

c语言算法控制结构,C语言第4章-控制结构与基本算法.ppt

C语言第4章-控制结构与基本算法【例】打印九九表 (循环嵌套) int main() { int i,j; for(i=1;i<=9;++i) { putchar('\n'); for(j=1;j<=9;++j) printf("%5d",i*j); } putchar('\n'); return 0; } * 中科大自动化系 * 1 2 3 ...

weixin_36324426的博客 180

IDEA的使用指南

IDEA基于java的使用手册,可以最快速的上手,在使用中不断的丰富自己的使用技巧.

华为的C语言编程规范.pdf

华为技术有限公司内部技术规范。本规范制定了编写C语言程序的基本原则、规则和建议。从代码的清晰、简洁、可测试、安全、程序效率、可移植各个方面对C语言编程作出了具体指导。

树模型算法

机器学习中树模型的演变

Judy_zym的博客 405

lwip-2.0.3

lwip是瑞典计算机科学院(SICS)的Adam Dunkels 开发的一个小型开源的TCP/IP协议栈。实现的重点是在保持TCP协议主要功能的基础上减少对RAM 的占用。

【机器学习】决策树-C4.5算法

C4.5算法是用于生成决策树的一种经典算法,是ID3算法的一种延伸和优化。C4.5算法对ID3算法主要做了一下几点改进:(1)通过信息增益率选择分裂属性,克服了ID3算法中通过信息增益倾向于选择拥有多个属性值的属性作为分裂属性的不足;(2)能够处理离散型和连续型的属性类型,即将连续型的属性进行离散化处理;(3)构造决策树之后进行剪枝操作;(4)能够处理具有缺失属性值的训练数据。C4.5算法训练的结果是一个分类模型,这个分类模型可以理解为一个决策树,分裂属性就是一个树节点,分类结果是树的结点。

Dong_ZH的博客 1万+

IMSL CNL 7.0.0 (x86-64)Crack

IMSL CNL 7.0.0 (x86-64)Crack intel的算法库破解文件,这是C++版本的破解文件

决策树C4.5算法详解

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/zjsghww/article/details/51638126 首先,C4.5是决策树算法的一种。决策树算法作为一种分类算法,目标就是将具有p维特征的n个样本分到c个类别中去。相当于做一个投影,c=f(n),将样本经过一种变换赋予一种类别标签。决策树为了达到这一目的,可以把分类的过程表示成一棵树,...

qq_39355550的博客 1万+

决策树算法——C4.5算法

C4.5算法是用于生成决策树的一种经典算法,是ID3算法的一种延伸和优化。通过信息增益率选择分裂属性,克服了ID3算法中通过信息增益倾向于选择拥有多个属性值的属性作为分裂属性的不足;能够处理离散型和连续型的属性类型,即将连续型的属性进行离散化处理;构造决策树之后进行剪枝操作;能够处理具有缺失属性值的训练数据。C4.5算法训练的结果是一个分类模型,这个分类模型可以理解为一个决策树,分裂属性就是一个树节点,分类结果是树的结点。每个节点都有左子树和右子树,结点无左右子树。

laosao_66的博客 3916

决策树学习算法——ID3,C4.5,CART详解

一、决策树 决策树的学习过程包括三个步骤: a)特征选择。不同的特征和预测目标具有不同强度的相关性,选择相关性最强的特征能够有效提高预测效果。 b)节点分裂。训练集会在决策树中按照节点规则分流,如果 节点A 没办法给出一个满意的分类结果,那它就会选择分裂,分成 2 个或者多个节点。那么根据什么分裂呢?节点A 会用熵来判断用哪个特征分裂是最优的。 c)剪枝。决策树不加限制地分裂容易产生过拟合现象,剪枝可以一定程度地缓解过拟合,提高泛化能力。 决策树的学习算法有多种,常用的有:ID3,C4.5,CART。下面逐

weixin_49717022的博客 5668

决策树算法--C4.5算法

C4.5算法是用于生成决策树的一种经典算法,是ID3算法的一种延伸和优化。C4.5算法对ID3算法进行了改进 ,改进点主要有: 用信息增益率来选择划分特征,克服了用信息增益选择的不足,但信息增益率对可取值数目较少的属性有所偏好; 能够处理离散型和连续型的属性类型,即将连续型的属性进行离散化处理; 能够处理具有缺失属性值的训练数据; 在构造树的过程中进行剪枝; 特征选择 特征选择也即选择最优划分属性,从当前数据的特征中选择一个特征作为当前节点的划分标准。 随着划分过程不断进行,希望决策树的分支节点所包含的

Amy9_Miss的博客 5779
上一篇: 一步一步学习 ID3 算法
下一篇: 一步一步学习 CART 算法
coderpai
博客等级 码龄10年 1082粉丝 469原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值