02-深度学习概述

深度学习的不能

1.容易被攻击

2.复杂度高、难以调试纠错

3.模型层级复合度高、参数不透明

4.对数据依赖性强、模型增量性差

5.对开放性推理无能为力

6.无法监督

稳定性低、可调试性差

参数不透明、机器偏见

增量性差、推理能力差

浅层神经网络

激活函数

单层感知器

不能实现异或(非线性

多层感知器

单层的组合合成

万有逼近定理

单隐层逼近连续函数，双隐层逼近非连续函数

神经网络每一层的作用

增加节点数：增加线性变换次数

增加层数：增加非线性变换次数

更宽or更深

深度贡献大

神经网络的参数学习：误差反向传递

多层神经网络可以看作非线性多元函数符合

梯度

是一个向量

方向：最大的方向导数的方向

大小：最大的方向导数的大小

梯度下降

沿着负梯度方向更新可以使函数值下降

第二次衰落

局部极值、梯度消失

深层神经网络

逐层预处理

自编码器

受限玻尔兹曼机

ReLU激活函数

不用逐层预处理，解决梯度消失问题