5、重采样方法与统计机器学习算法

重采样方法与统计机器学习算法

1. 数据分割与分层抽样

在机器学习中，数据通常需要分割为训练集和测试集，以评估模型的泛化能力。常见的做法是使用 train_test_split() 函数，例如：

import pandas as pd
from sklearn.model_selection import train_test_split

# 读取数据
df_creditcarddata = pd.read_csv("creditcarddefault.csv")

# 分离特征和响应变量
X = df_creditcarddata.iloc[:,0:24]
Y = df_creditcarddata['default payment next month']

# 创建训练集和测试集
X_train, X_test, Y_train, Y_test = train_test_split(X, Y, train_size=0.7, test_size=0.3, stratify=Y)

在上述代码中， train_size 和 test_size 参数分别指定了训练集和测试集的比例，取值范围在 0.0 到 1.0 之间。如果未指定其中一个参数，其值将自动补充另一个参数。 stratify 参数用于确保目标变量的类别分布在训练集和测试集中相似。

2. 交叉验证方法

为了解决机器学习模型的泛化问题，交叉验证是一种常用的技术。以下是几种常见的交叉