关于使用LSTM模型进行数据诊断,主要的步骤为:
一、数据处理
二、模型的搭建
三、模型训练
四、模型的评估与测试
一、数据处理
数据处理是数据诊断的首先环节,主要包括数据读取、数据处理已经数据的输出(即将读取的数据如何转换为符合LSTM的输入数据)。
1、首先是数据读取,在Python中,读取数据的方式有很多种,你可以读取外部文件excel、csv、txt等类型。读取的语法也很简单。如下:
def get_file(self):
return os.listdir('DataTestThree/')
使用 os.listdir() 函数来列出指定目录中的文件和子目录,这里的‘DataTestThree’为内部的数据文件夹名,只用该函数即可获取到指定目录中的文件。
2、获取数据的文件后,即要读取里面的数据,可新建一个函数去实现。如下:
def get_data(self):
Filelist = self.get_file()
这样就通过函数嗲用获得了数据文件。然后再读取里面的数据,如下:
file_data = pd.read_excel('DataTestThree/{}'.format(file_name), engine='openpyxl')
该函数为读取excel文件。读取文件后,获取里面的某一列数据,并放在数据表中,并将某一列作为数据样本、某一列当作数据样本的标签。整体代码如下:
def get_data(self):
Filelist = self.get_file()
features = None
labels = None
for file_name in Filelist:
file_data = pd.read_excel('DataTestThree/{}'.format(file_name), engine='openpyxl') # 读取xlsx文件
# 获取第一列和第二列作为特征
current_features = file_data.iloc[:, :2].values
# 获取第三列作为标签
current_labels = file_data.iloc[:, 2].values
if features is None:
features = current_features
else:
features =