深度学习网络

深度学习框架

---

1、线性回归——>神经网络

线性回归：给定一些有线性映射关系的数据，希望能得到线性映射关系
神经网络：叠加了多个非线性映射构成

2、神经网络——>CNN

将全连接的神经网络扩展成为CNN和RNN是非常有意义的。这种拓展使得某些神经元间的连接是非全连接的，同时，使同一层中某些神经元之间的连接的权重是共享的（即相同的）。这种结构大大降低了网络模型的复杂度，这对于深层网络是很有必要的，大大减少了权值的数量。

对于传统的神经网络，输入是一维向量，不同层之间简单的代数运算后经过非线性激励，形成新的一个学习层，与下一层进行信息交互。

而CNN的核心思想是将传统神经网络中的代数运算用卷积核来代替，卷积核是二维的处理算子。因此CNN主要应用于图像处理。卷积核的大小取决于要提取的特征分布和区分度，如果本身要提取的特征很小那卷积核也应该很小,卷积核太大可能导致丢失一些局部特征。

可以将CNN理解为是传统神经网络在空间上的拓展。

CNN的一些应用：

图像识别与标注、目标检测（生成图像主题、内容）、机器人或游戏的参数控制

3、神经网络——>RNN

RNN则是对传统神经网络从时间维度的拓展。

一维信息具有前后的时间联系（如，语音信号，文章等），为使神经网络能够学习到这样一种前后关系，考虑将神经网络某一时刻的输出作