心路历程
首先,小编这里花费了两周多的时间,从数据集到网络的搭建,都是小编亲手完成的,在这里想把整个过程分享给大家,希望大家可以从中学到东西,那么话不多说,开始介绍我的心酸之旅.
制作数据集
首先我是使用了 WISDM (Wireless Sensor Data Mining) Lab 实验室公开的 Actitracker 的数据集,在此数据集上进行数据清洗,制作出小编自己的数据集.对于这个数据集,大家可以自己去下载,接下来,小编将告诉大家,数据处理的重要性,以及如何对数据进行处理
数据处理的重要性
在现有的公开数据集中,许多数据集中的数据都是有错误的,比如说在数据集中会出现没有采集到的数据,以及有些数据是残缺的,是错误的,在WISDM中,数据存在以下几个缺陷:1,数据分布不均匀,2,出现极少数数据是错误的情况,这些都会使我们在使用数据集训练网络的时候出现各种各样的错误,所以必要的数据清洗还是十分重要的,当然,有些同学的机器也带不动如此大量的数据(WISDM总共有1080000多条数据),那么对于数据的处理就十分的有必要了.
如何处理数据
在这里,小编给大家推荐两个工具,一个就是python,我们的所有代码都是用python写的,另一个就是shell脚本,说实话,小编认为,在linux下进行深度学习是真的很方便,因为shell脚本的存在可以使数据处理变得十分的简单,小编推荐,python和shell脚本混合使用,效果会很好.
处理数据的细节
&