学前班的博客

一、函数说明sklearn.tree模块提供了决策树模型，用于解决分类问题和回归问题。使用的是DecisionTreeClassifier和export_graphviz，前者用于决策树构建，后者用于决策树可视化。DecisionTreeClassifier一共有12个参数：class sklearn.tree.DecisionTreeClassifier(criter

一、函数说明朴素贝叶斯是一类比较简单的算法，scikit-learn中朴素贝叶斯类库的使用也比较简单。相对于决策树，KNN之类的算法，朴素贝叶斯需要关注的参数是比较少的，这样也比较容易掌握。在scikit-learn中，一共有4个（0.20版本，0.19版本只有3个）贝叶斯的分类算法类。分别是GaussianNB，MultinomialNB和BernoulliNB。其中Gaussian

一、函数说明sklearn.neighbors模块实现了k-近邻算法使用sklearn.neighbors.KNeighborsClassifier就可以实现k-近邻算法。KNeighborsClassifier函数一共有8个参数：class sklearn.neighbors.KNeighborsClassifier(n_neighbors=5, weights=

一、函数说明使用的是sklearn.linear_model中的函数，共有14个参数。参数说明如下：penalty：惩罚项，str类型，可选参数为l1和l2，默认为l2。用于指定惩罚项中使用的规范。newton-cg、sag和lbfgs求解算法只支持L2规范。L1G规范假设的是模型的参数满足拉普拉斯分布，L2假设的模型参数满足高斯分布。dual：对偶

一、函数说明sklearn.svm模块提供了很多模型，它是基于libsvm实现的。我们选用svm.SVC，该函数有14个参数：参数说明如下：C：惩罚项，float类型，可选参数，默认为1.0，C越大，即对分错样本的惩罚程度越大，因此在训练样本中准确率越高，但是泛化能力降低，也就是对测试数据的分类准确率降低。

一、函数说明使用的是sklearn.ensemble模块。sklearn.ensemble.AdaBoostClassifier有5个参数：参数说明如下：base_estimator：可选参数，默认为DecisionTreeClassifier。理论上可以选择任何一个分类或者回归学习器，不过需要支持样本权重

绘制ROC曲线，计算AUC，涉及到sklearn.metrics。一般的分类器都有predict_proba或者decision_function method。使用这个method得到预测的值。注意：ROC和AUC使用的都是训练集的数据。sklearn.metrics.roc_curve(y_true,y_score, pos_label=None, samp

scikit-learn，简称sklearn，是机器学习常用的库，本文使用该库来实现《机器学习实战》中的算法。官网：http://scikit-learn.org/stable/当前版本：0.19.1API说明：http://scikit-learn.org/stable/modules/classes.html安装说明：第三方库下载地址：http://www.lfd.