有监督的神经网络模型

最近想重新回顾一下深度学习一些常用的有监督的神经网络模型及原理，仅是学习记录下。

神经网络的基础模型是感知机，多层感知机（Multi-layer Percptron）简称MLP 

RNN、LSTM 、Transformer

RNN

RNN循环神经网络（Recurrent Neural Networks）递归神经网络（Recurive Neural Networks）：

处理和预测（有序）序列数据，如预测股票走势。RNN有记忆能力，可模拟数据间的依赖关系

LSTM

为了增强RNN这种“记忆能力”，LSTM应运而生，用于解决长期以及远距离依赖关系

参考：循环神经网络（RNN）原理通俗解释_多元思考力-优快云博客_循环神经网络原理

 单向循环网络着重于从过去推测未来，重点就是数据之间存在依赖关系，一般首选LSTM，如果预测对象同时取决于过去和未来，可以选择双向结构，如双向LSTM

Transformer

transformer详细讲解参考：详解Transformer （Attention Is All You Need） - 知乎

transformer解决了RNN不能并行计算的缺点，顺序计算过程中会丢失信息。

---

CNN

参考：卷积神经网络CNN基本原理详解_woaijssss的博客-优快云博客_cnn原理

CNN（卷积运算、图片）cnn通过多层的卷积、池化、全连接把图片降维（压缩），最终都是把一张图片转化为一维的特征向量，这个特征向量就相当于这张图片的DNA

Transformer没有卷积、没有池化也没有循环