python+机器学习+深度学习3

深度学习之多层感知机

多层感知器MLP（人工神经网络）

• 多层感知器的数学表达式$y=g({\theta }_{10}^2{a}_0^2+{\theta }_{11}^2{a}_1^2+{\theta }_{12}^2{a}_2^2+{\theta }_{13}^2{a}_3^2)$
• MLP实现非线性分类

• Keras（神经网络开发的应用接口常用于深度学习算法的开发）
  • Keras开发手册
  • tensorflow是一个采用数据流图，用于数值计算的开源软件库。可以自动计算模型相关的微分导数，所以适合神经网络模型的求解
  • Keras可以看作tensorflow封装的一个接口（Keras作为前端，Tensorflow作为后端）
• 实战

深度学习之卷积神经网络

• 是否可能进一步减少训练参数的数量：提取图像中的关键信息（轮廓），再建立mlp模型进行训练
• 图像卷积运算：对图像矩阵与滤波器矩阵进行对应相乘再求和运算，转化得到新的矩阵：1、快速定位图像中某些边缘特征；2、A,B的卷积通常表示为：$A\ast B或convolution(A,B)$
• 如何提取轮廓特征

• 卷积神经网络的核心：根据样本图片选择合适的过滤器，一个过滤器不够，需要寻找很多过滤器

• 池化层实现维度缩减

• 把卷积、池化、（展开成全连接层），mlp（relu函数）连接在一起，组成卷积神经网络

• 经典的CNN模型

  • LeNet-5
    

  • AlexNet
    
    

  • VGG
    
    

• 可以使用经典的CNN模型结构对图像进行预处理，再建立MLP模型

循环神经网络

• 前面的序列信息经过处理后，作为输入信息传递到后部序列
  
  
  

• 不同的RNN模型

  • 多输入多输出
  • 多输入单输出
  • 单输入多输出

• 普通RNN的缺陷

  • 前部序列信息传递到后部的同时，信息权重下降，导致重要信息丢失
    

  • 为了解决这个问题，LSTM - 也解决了普通RNN在求解过程中梯度消失的问题
    
    

• 双向循环神经网络BRNN

  • 在求解过程中，有些情况还要考虑后面输入的信息
    

• 深层循环网络DRNN

  • 解决更复杂的序列任务，可以把单层RNN叠起来或者在输出前和普通mlp结构结合使用