qq_59554113的博客

综上在本项目中随机森林的准确率和性能更好，但模型也更为复杂，训练速度较慢，最终与决策树的模型准确率相差也非常小（<0.01），如果不追求极致的高准确率，使用决策树是一种比较平衡的选择。可以看到决策树的学习曲线中，训练集和验证集曲线趋于收敛，且收敛于0.95左右的较高水平，即模型在训练集和验证集的得分都比较高，且最后两者的得分差别不超过0.05，认为模型不存在过拟合现象。可以看见AUC指标为0.99，非常高，出现原因同上决策树一样，可能是数据量较少模型性能比较强大，不需要太复杂的模型也能拟合出好的结果。

通过调整模型参数，我们可以得到不同的分类结果，具体看到代码2的结果，不管是使用信息增益还是gini指数来评估决策树分类结果，对于鸢尾花数据，决策树深度为5的时候的模型结果都会优于深度为3的时候的准确率。通过代码4的运行结果我们可以看到，不管是训练集还是测试集，在depth=2以前该参数对模型准确率的影响都是比较大的，当depth>2时影响变小，而当训练集的决策树深度达到6的时候，模型的准确率就已经来到了100%，当测试集决策树深度达到3时，模型的准确率就已经来到了100%。

同理，对于同一个多项式维度下的模型，不同的C也对模型的最终准确率产生了影响，并且对于不同的维度，C的影响力也不一样，这里在维度1下，C从0.01到0.05的过程对模型影响较大，而维度3下C从0.1到0.5的过程对模型的影响较大。在不同正则化参数C的情况下，初始准确率越高的模型，随着维度的增高受到的影响越小，最终的模型准确率下降的相对较少，在C=0.01的时候，一维的准确率较低，随着维度的增加，模型准确率下降，甚至出现了“触底反弹”的情况；不同的核函数对模型精度有一定的影响。3.1.正则化系数C的修改。

两个模型最大的区别就是LogisticRegression是需要手动调参的，而LogisticRegressionCV是自动寻优的，但这并不代表LogisticRegressionCV模型的训练结果就一定比LogisticRegression好，比如本次实验中，由于数据集较小，特征较少，交叉验证结果并不明显，还可能导致过拟合现象。从上述实验中我们可以看出，在数据集比较小的时候，LogisticRegression模型的分类效果是比LogisticRegressionCV略好的；6.进行十折交叉验证。

随着Alpha值的增大，也就是Alpha从1到20的过程，我们可以看到岭回归的均方误差有略微增加，达到了21.2，弹性网络的均方误差也是略微增加，达到了29.3，可是Lasso回归的均方误差直接达到了84，可见拥有L2正则化的岭回归和弹性网络更加稳定，受alpha变化的影响较小，而Lasso回归由于采用的L1正则化，直接删除了某些特征对结果的影响，使得对结果的判定手段减少了，模型变得更加不稳定，受alpha的影响较大。根据上述实验，比较不同模型、不同alpha之间的差异。