Python 训练模型前数据预处理：shuffle - 打乱数据

Abstract

• 除了划分train 、test、dev前shuffle之外，数据在训练前也需要shuffle一下
• 在Python里面，使用Pandas里面的DataFrame来存放数据的时候想要把数据集进行shuffle会许多的方法，本文介绍两种比较常用而且简单的方法。

Method

实现方法：

最简单的方法就是采用pandas中自带的 sample这个方法。

假设df是这个DataFrame

df.sample(frac=1)

这样对可以对df进行shuffle。其中参数frac是要返回的比例，比如df中有10行数据，我只想返回其中的30%,那么frac=0.3。
有时候，我们可能需要打混后数据集的index（索引）还是按照正常的排序。我们只需要这样操作

df.sample(frac=1).reset_index(drop=True)

---

sklearn方法

其实，sklearn(机器学习的库）中也有shuffle的方法。

from sklearn.utils import shuffle
df = shuffle(df)

numpy 方法 - 不建议

df.iloc[np.random.permutation(len(df))]

Reference

https://blog.youkuaiyun.com/qq_22238533/article/details/70917102

df.to_csv

• to_csv()是DataFrame类的方法，read_csv()是pandas的方法

res_file = 'data.tsv'
df.to_csv(res_file, index=0, header=0, seq='\t')  # index=0是不保存行索引，seq是分隔符
# header = 0 是不保留表头