Python轴承故障诊断 (19)基于Transformer-BiLSTM的创新诊断模型

往期精彩内容：

Python-凯斯西储大学（CWRU）轴承数据解读与分类处理

Pytorch-LSTM轴承故障一维信号分类(一)-优快云博客

Pytorch-CNN轴承故障一维信号分类(二)-优快云博客

Pytorch-Transformer轴承故障一维信号分类(三)-优快云博客

三十多个开源数据集 | 故障诊断再也不用担心数据集了！

Python轴承故障诊断 (一)短时傅里叶变换STFT-优快云博客

Python轴承故障诊断 (二)连续小波变换CWT-优快云博客

Python轴承故障诊断 (三)经验模态分解EMD-优快云博客

Python轴承故障诊断 (四)基于EMD-CNN的故障分类-优快云博客

Python轴承故障诊断 (五)基于EMD-LSTM的故障分类-优快云博客

Python轴承故障诊断 (六)基于EMD-Transformer的故障分类-优快云博客

Python轴承故障诊断 (七)基于EMD-CNN-LSTM的故障分类-优快云博客

Python轴承故障诊断 (八)基于EMD-CNN-GRU并行模型的故障分类-优快云博客

Python轴承故障诊断 (九)基于VMD+CNN-BiLSTM的故障分类-优快云博客

Python轴承故障诊断 (十)基于VMD+CNN-Transfromer的故障分类-优快云博客

基于FFT + CNN - BiGRU-Attention 时域、频域特征注意力融合的轴承故障识别模型-优快云博客

基于FFT + CNN - Transformer 时域、频域特征融合的轴承故障识别模型-优快云博客

Python轴承故障诊断 (11)基于VMD+CNN-BiGRU-Attenion的故障分类-优快云博客

交叉注意力融合时域、频域特征的FFT + CNN -BiLSTM-CrossAttention轴承故障识别模型-优快云博客

交叉注意力融合时域、频域特征的FFT + CNN-Transformer-CrossAttention轴承故障识别模型-优快云博客

轴承故障诊断 (12)基于交叉注意力特征融合的VMD+CNN-BiLSTM-CrossAttention故障识别模型_基于残差混合域注意力cnn的轴承故障诊断及其时频域可解释性-优快云博客

Python轴承故障诊断 (13)基于故障信号特征提取的超强机器学习识别模型-优快云博客

Python轴承故障诊断 (14)高创新故障识别模型-优快云博客

Python轴承故障诊断 (15)基于CNN-Transformer的一维故障信号识别模型-优快云博客

Python轴承故障诊断 (16)高创新故障识别模型（二）-优快云博客

轴承故障全家桶更新 | 基于时频图像的分类算法-优快云博客

Python轴承故障诊断 (17)基于TCN-CNN并行的一维故障信号识别模型-优快云博客

独家原创 | SCI 1区 高创新轴承故障诊断模型！-优快云博客

基于 GADF+Swin-CNN-GAM 的高创新轴承故障诊断模型-优快云博客

Python轴承故障诊断 (18)基于CNN-TCN-Attention的创新诊断模型-优快云博客

注意力魔改 | 超强轴承故障诊断模型！-优快云博客

轴承故障全家桶更新 | 基于VGG16的时频图像分类算法-优快云博客

轴承故障全家桶更新 | CNN、LSTM、Transformer、TCN、串行、并行模型、时频图像、EMD分解等集合​都在这里-优快云博客

注意：本模型继续加入 轴承故障诊断—创新模型全家桶 中，之前购买的同学请及时更新下载!

● 数据集：CWRU西储大学轴承数据集

● 环境框架：python 3.9  pytorch 1.8 及其以上版本均可运行

● 准确率：测试集99%

● 使用对象：论文需求、毕业设计需求者

● 代码保证：代码注释详细、即拿即可跑通。

全网最低价，创新网络分类效果显著，模型能够充分提取轴承故障信号的空间和时序特征和频域特征，收敛速度快，性能优越, 精度高。创新度也有！！！高性价比、高质量代码，大家可以了解一下：（所有全家桶模型会不断加入新的模型进行更新！后续会逐渐提高价格，越早购买性价比越高！！！）

创新模型：

基于Transformer-BiLSTM的轴承故障诊断创新模型：

1. Transformer：

   Transformer 是一种基于注意力机制的深度学习模型，广泛应用于自然语言处理任务。它通过自注意力机制（Self-Attention）来捕捉输入序列中不同位置之间的依赖关系，从而实现了对序列数据的有效建模。在轴承故障诊断任务中，Transformer可以帮助模型捕捉轴承振动信号中不同时间步之间的复杂关联。

2. 双向长短期记忆网络（BiLSTM）：

   双向长短期记忆网络是一种具有记忆单元和遗忘门的循环神经网络，可以有效地处理序列数据并捕捉序列中的长期依赖关系。通过同时考虑输入序列的过去和未来信息，BiLSTM可以更好地理解轴承振动信号中的时序特征和变化趋势。

3. 模型结合：

   基于 Transformer-BiLSTM 的创新模型将 Transformer 和 BiLSTM 结合在一起，充分利用了两者的优势。Transformer 可以帮助模型捕捉全局的序列信息和复杂的依赖关系，而 BiLSTM 则可以更好地捕捉局部的时序特征和变化趋势。通过结合两种模型，创新模型可以在轴承故障诊断任务中取得更好的性能和效果，提高故障诊断的准确率和效率。

前言

本文基于凯斯西储大学（CWRU）轴承数据，先经过数据预处理进行数据集的制作和加载，最后通过Pytorch实现Transformer-BiLSTM模型对故障数据的分类。凯斯西储大学轴承数据的详细介绍可以参考下文：

Python-凯斯西储大学（CWRU）轴承数据解读与分类处理_凯斯西储大学轴承数据集-优快云博客

1 轴承数据加载与预处理

1.1 导入数据

参考之前的文章，进行故障10分类的预处理，凯斯西储大学轴承数据10分类数据集：

train_set、val_set、test_set 均为按照7：2：1划分训练集、验证集、测试集，最后保存数据

上图是数据的读取形式以及预处理思路

1.2 数据预处理，制作数据集

2 基于Pytorch的Transformer-BiLSTM创新诊断模型

2.1 定义Transformer-BiLSTM分类网络模型

2.2 设置参数，训练模型

50个epoch，准确率100%，Transformer-BiLSTM网络分类效果显著，Transformer-BiLSTM模型能够充分提取轴承故障信号的多尺度特征，收敛速度快，性能特别优越，效果明显。

注意调整参数：

• 可以适当增加Transformer编码器层数和每层维度数，微调学习率；

• 微调BiLSTM层数和每层神经元个数，增加更多的 epoch （注意防止过拟合）

• 可以改变一维信号堆叠的形状（设置合适的长度和维度）

2.3 模型评估

准确率、精确率、召回率、F1 Score

故障十分类混淆矩阵：

3 代码、数据整理如下：