m0_56644478的博客

本章最重要的部分在于如何理解和计算信息增益，并且要有能力复现出ID3算法，除此之外剪枝的思想也很重要。

第二节介绍的是使用线性模型完成回归任务，那么如何使用线性模型进行分类任务呢？接下来将介绍对数几率回归（logistic regression，亦称逻辑回归，LR回归）。在二分类任务中，输出值为离散的{0,1}，而线性回归模型产生的预测值是连续的实值，如何将实值转化成{0,1}呢？单位跃阶函数（unit-step function）和sigmoid函数。单位跃阶函数具体表达形式为：而sigmoid函数（对数几率函数）表达式为：相比之下，单位跃阶函数有两个不可导点，并且不连续；

如此可知，代价线段必然经过（0，FPR）和（1，FNR）两点，根据ROC曲线上的每个点（FPR，TPR），可计算出FNR（FNR=1-TPR），进而可以通过两点绘制出线段。与留出法相似，划分方式同样多种，这里为了减少因样本划分不同而带来的差别，k折交叉验证通常也要随机使用不同的划分方式重复p次，最终的评估结果是这p次k折交叉验证的结果，比较常见的有“10次10折交叉验证”。如开头所介绍的两种最常用的度量，错误率是指分类错误的样本数占样本总数的比例，精度则是指分类正确的样本数占样本总数的比例。