python - 数据集处理

数据集：训练集、测试集、验证集

训练集：用来训练与拟合模型

验证集：当通过训练集训练出多个模型，使用验证集数据纠偏或比较预测

测试集：模型泛化能力的考量

train_test_split是交叉验证中常用的函数，功能是从样本中随机的按比例选取train data和test data，形式为：
X_train,X_test, y_train, y_test = cross_validation.train_test_split(train_data,train_target,test_size=0.4, random_state=0)

参数代表含义:
train_data：所要划分的样本特征集
train_target：所要划分的样本结果
test_size：样本占比，如果是整数的话就是样本的数量
random_state：是随机数的种子。
 

import numpy as np
import scipy.stats as ss
import pandas as pd
from sklearn.model_selection import train_test_split

df=pd.DataFrame({"A":ss.norm.rvs(size=10),"B":ss.norm.rvs(size=10),\
... "C":ss.norm.rvs(size=10),"D":np.random.randint(low=0,high=2,size=10)})

label = df["D"]
df=df.drop("D",axis=1)

##切分训练测试、验证集 （6：2：2）
X_tt,X_validation,Y_tt,Y_validation=train_test_split(df.values,label.values,test_size=0.2,random_state=0)
X_train,X_test,Y_train,Y_test=train_test_split(X_tt,Y_tt,test_size=0.25,random_state=0)