LSTM Siamese neural network

本文中的代码在Github仓库或Gitee仓库中可找到。

Hi, 你好。我是茶桁。

大家是否还记得，在「核心基础」课程中，我们讲过CNN以及LSTM。

卷积神经网络（CNN）已经在计算机视觉处理中得到广泛应用，不过，2017年开创性的Transformer神经网络的开创性使其称为一种可行的替代方案，Transformer是目前流行的ChatGPT的基础。它的主要缺点是需要大型数据集才能超越CNN同类产品。否则，在数据集有限的情况下，Transformer的性能回避CNN模型差。关于LSTM，它的设计目的是解决梯度消失问题，这个咱们在LSTM那一章中中有详细的解释，即在每次训练迭代过程中，权重和偏置无法有效更新。LSTM是一种递归神经网络，由存储单元组成，每个存储单元由输入门、输出门和遗忘门组成，位与隐层(Hidden Layer)/State之上。不过，与最新的Transformer相比，LSTM的信息保留时间较长。

因此，就深度学习而言，LSTM 的特性使其可以应用于自然语言处理和时间序列预测等领域。还有人提出了一种混合架构，