qq_43301351的博客

决策树广泛用于分类和回归问题。比如我们要区分四种动物：鹰、企鹅、海豚、熊，我可以由几个if/else来判断，import numpy as npimport pandas as pdimport mglearnimport matplotlib.pyplot as pltimport graphvizfrom sklearn.model_selection import train_test_splitmglearn.plots.plot_animal_tree()注意，如果报错“py

将Logistic回归和线性支持向量机应用到forge数据集上，import numpy as npimport pandas as pdimport mglearnimport matplotlib.pyplot as pltfrom sklearn.model_selection import train_test_splitfrom sklearn.linear_model import LogisticRegressionfrom sklearn.svm import LinearS

岭回归使用L2正则化对系数w进行约束，以限制模型复杂度（防止过拟合），import numpy as npimport pandas as pdimport mglearnimport matplotlib.pyplot as pltfrom sklearn.model_selection import train_test_splitX,y = mglearn.datasets.load_extended_boston()X_train,X_test,y_train,y_test = tr

线性回归在实际中应用广泛，以下在一维wave数据集上进行展示，import numpy as npimport pandas as pdimport mglearnimport matplotlib.pyplot as pltmglearn.plots.plot_linear_regression_wave()输出w[0]: 0.393906 b: -0.031804对单一特征的数据集来讲，预测结果是一条直线，对多个特征的数据集来说，预测结果是一个超平面。当处理特征非常多的数据集时

k近邻用于回归，先从单一近邻进行分析，使用wave数据集。有3个测试数据点，在x轴上用绿色五角星表示。预测结果用蓝色五角星表示。import numpy as npimport pandas as pdimport mglearnimport matplotlib.pyplot as pltmglearn.plots.plot_knn_regression(n_neighbors=1)输出当然也可以用多个近邻进行回归，预测结果为这些邻居的平均值mglearn.plots.plot_kn

k近邻分类算法最简单的就是考虑一个最近邻，也就是考虑离我们预测的点最近的那一个训练点。预测结果就是这个训练点的分类标签。这里演示使用了mglearn库，该库集成了sklearn和数据的许多操作方法，很便于获取对应数据。import numpy as npimport pandas as pdimport mglearnimport matplotlib.pyplot as pltmglearn.plots.plot_knn_classification(n_neighbors=1)图中3