有监督学习（分类、回归）

分类与回归并无本质区别，当目标变量连续时，为回归；目标变量只能取几个离散值（类别）时，为分类。也正是由于这种不同，model estimation metric不同，分类问题常使用分类准确率（classification accuracy）;而回归问题常用 Mean Absolute Error, Mean Squared Error, Root Mean Squared Error来量化模型性能。

本文用sklearn建模，以分类问题的模型建立、模型训练、模型评估为主线，主要目的是熟悉sklearn的基本使用。数据来自于UCI Machine Learning Repository

软件要求：python3.6, notebook，numpy, pandas, matplotlib, scikit-learn

几个术语：
feature：输入变量
response：输出变量
observation: 样本

sklearn对数据的要求：
sklearn 要求X(feature matrix)和y(target vector)为numpy Array，pandas基于numpy，所以X和y可以很自然的从dataframe中获得，一个feature对应dataframe的一列(variable),一个样本对应dataframe的一行(observation)。

目的：预测未知iris的种类，采用LR和KNN两种模型

导入数据

# read the iris data into a DataFrame
import pandas as pd
url = 'http://archive.ics.uci.edu/ml/machine-learning-databases/iris/iris.data'
col_names = ['sepal_length', 'sepal_width', 'petal_length', 'petal_width', 'species']
iris = pd.read_csv(url, header=None, names=col_names)

#map each iris species to a number
iris['species_num'] = iris.species.map({
  'Iris-setosa':0, 'Iris-versicolor':1, 'Iris-virginica':2})

# store feature matrix in "X"
feature_cols = ['sepal_length', 'sepal_width', 'petal_length', 'petal_width']
X = iris[feature_cols]

# store response vector in "y" 
y = iris.species_num

用sklearn建模的四个步骤：