Miracle Fan的博客

如果用决策树进行分类，则是将一组给定数据从根节点开始，对样本的某一特征进行测试，判断其隶属于哪一个子节点，然后循环往复，直至没有子节点出现，也就是到达叶节点，最终实现分类效果。信息增益其存在偏向取值较多的特征类别，比如说在某次分类中，每个样本都有一个自己的id号，为了使得信息熵下降最快，决策树会认为按这个id号作为分类最快，但这也因此引发了模型的错误。也就是，当决策树对某个叶节点在未进行剪枝前的损失函数大于在进行剪枝操作后的决策树，也就是返回到其父节点去计算损失函数，就进行剪枝操作。......

Bayes是首先通过以训练集进行概率计算，得到先验概率分布和条件概率分布，而对于这两种概率，Bayes分类器是采用的用样本估计整体（极大似然估计）的思路，通过训练集中样本的这两种概率分布，进行总体近似。也就是计算出再知道这两种概率之后，就能利用贝叶斯定理P(A∣B)=P(AB)P(B)=P(B∣A)P(A)P(B)P(A|B)=\frac{P(AB)}{P(B)}=\frac{P(B|A)P(A)}{P(B)}P(A∣B)=P(B)P(AB)​=P(B)P(B∣A)P(A)​计算出在已知样本特征之后

回归问题就是预测一个连续问题的数值，比如……，而如果将上面的回归问题，利用Sigmoid函数(Logistic回归)，能将预测值变为判断是否能做某事情的概率，将回归得到的连续数值变为（0，1）之间的概率，然后可以用于处理二分类问题。......

KNN（K-Nearest-Neighbors）是一种最为简单的分类算法，它的学习过程，区别于一般的监督学习模型，如贝叶斯、神经网络，利用数据集训练模型之后，得到相应模型的参数，然后再利用这些参数去预测相关数据的类型。在KNN中，每次预测数据类型都是计算预测数据与数据集中的相关数据的（也称为距离），然后通过给定的K参数（超参数）去进行相似度筛选，再由，通过K个相似数据的标签信息，去表决该预测数据属于哪一种类型。也正因为如此，KNN不太适合使用在应用上，因为其每次预测都需要大量计算相似度。...