Hi, 你好。我是茶桁。
大家是否还记得,在「核心基础」课程中,我们讲过CNN以及LSTM。
卷积神经网络(CNN)已经在计算机视觉处理中得到广泛应用,不过,2017年开创性的Transformer神经网络的开创性使其称为一种可行的替代方案,Transformer是目前流行的ChatGPT的基础。它的主要缺点是需要大型数据集才能超越CNN同类产品。否则,在数据集有限的情况下,Transformer的性能回避CNN模型差。关于LSTM,它的设计目的是解决梯度消失问题,这个咱们在LSTM那一章中中有详细的解释,即在每次训练迭代过程中,权重和偏置无法有效更新。LSTM是一种递归神经网络,由存储单元组成,每个存储单元由输入门、输出门和遗忘门组成,位与隐层(Hidden L