数据处理之不平衡数据过采样与下采样

方法一： 直接使用pandas.sample(frac=2.0)(过采样）

oversample = train_df.sample(frac=2.2, resample=True)
downsample = train_df.sample(frac=0.2)

方法二： 使用python的imblearn模块
下采样：

from imblearn.under_sampling import RandomUnderSampler

ran = RandomUnderSampler(return_indices=True)

x_rs, y_rs, dropped = ran.fit_sample(X, y)

上采样;

from imblearn.over_sampling import RandomOverSampler

ran=RandomOverSampler()
X_ran,y_ran= ran.fit_resample(X,y)

方法三：使用imblearn自动裁剪数据和生成新的数据
删除临界值来下采样：

from imblearn.under_sampling import TomekLinks

tl = TomekLinks(return_indices=True, ratio='majority')
X_tl, y_tl, id_tl = tl.fit_sample(X, y)

生成新数据来上采样：

from imblearn.over_sampling import SMOTE

smote = SMOTE(ratio='minority')
X_sm, y_sm = smote.fit_sample(X, y)

Reference：
https://www.kaggle.com/shahules/tackling-class-imbalance