sinat_36391198的博客

决策树是一种常见的机器学习，可以从给定的数据之中创建一个模型，模型创建后可以对新的样本进行判定和识别。决策树的生成如下：假设有训练集。属性集。我们基于此构造一个决策树（最基本的），大致思路如下：生成node节点。然后开始根据属性进行判断，如果训练集的所有样本都属于属性集的一个属性，则node就作为类的叶节点。如果属性集为空或者剩下训练集的所有属性取值相同，那么将node设为叶节...

定义信息熵：，其中为第k个样本占比，D为样本集。定义信息增益：，其中V为分支节点，a为属性。使用举例（书上的例子）：编号 色泽 根蒂 敲声 纹理 脐部 触感 好瓜1 青绿 蜷缩 浊响 清晰 凹陷 硬滑 是2 乌黑 蜡缩 沉闷 清晰 凹陷 硬滑 是3 乌黑 蜡缩 1虫响 清晰 凹陷 硬滑 是4 青绿 蜷缩 沉闷 清晰 凹陷 硬滑 是5 浅白 蜷缩 浊响 清晰 ...

为什么决策树需要剪枝？我们可以类比于神经网络的“过拟合”问题来进行思考。在神经网络之中，会出现过拟合问题，即出思安对特定的样本识别率升高，对其余样本的识别率降低。在决策树中也会出现类似的问题，会出现枝条过多的现象，是问题复杂化，准确率却得不到上升。决策树的剪枝分为2种，一种是预剪枝，第二种是后剪枝。预剪枝：在创建进行到某一个节点处，我们先计算当前节点的准确率，然后在按照该节点的属性进行分类...