16. 机器学习 - 决策树

Hi，你好。我是茶桁。

在上一节课讲SVM之后，再给大家将一个新的分类模型「决策树」。我们直接开始正题。

决策树

我们从一个例子开始，来看下面这张图：

假设我们的x1 ~ x4是特征，y是最终的决定，打比方说是买东西和不买东西，0为不买，1为买东西，假设现在y是[0,0,1,0,1]。

那么，我们应该以哪个特征为准去判断到底y是0还是1呢？

如果关注x3，那么x3为A的时候，即有0也有1，我们先放一边找找看有没有更合适的。

如果是x4的话，肉眼可见的，区分度是最准确的对吧？B的都是都是0，C的时候都是1，那么x4也就是区分度最大的。

我们现在换成人的思维过程来说，肯定是期望先找到那个最能区分它的，就是最能识别的特征。这个最能识别的特征在数学里面有一个专门的定义：Salient feature, 就是显著特征。

如果我们更改一下x4的值，变成[B,C,C,B,B]， 那x4也就不那么显著了。这个时候最能区分的就是x2了，只在x2[1]的位置上判断错了一个。

这个时候