5、重采样方法与多元线性回归技术详解

重采样方法与多元线性回归技术详解

1. 数据划分与分层抽样

在机器学习中，数据划分是非常重要的一步。通常，我们会将数据划分为训练集和测试集，一般比例为 70% 和 30%。以下是具体的操作步骤：
1. 查看数据维度并检查缺失值。
2. 分离特征和响应变量。
3. 使用 sklearn.model_selection 中的 train_test_split() 函数进行数据划分。可以通过 train_size 和 test_size 参数设置划分比例，取值范围在 0.0 到 1.0 之间，表示数据集分配给每个子集的比例；若为整数，则表示观测值的绝对数量。若不提供其中一个参数，其值会自动补充另一个参数的值。

from sklearn.model_selection import train_test_split
import pandas as pd

# 假设 df 是我们的数据
# 分离特征和响应变量
X = df.iloc[:, :-1]
Y = df.iloc[:, -1]
# 划分数据集
X_train, X_test, Y_train, Y_test = train_test_split(X, Y, train_size=0.7, test_size=0.3)

当处理二分分类目标变量时，为了保证训练集和测试集中目标变量的两类分布相似，我们可以使用 stratify 参数。以下是具体示例：