深度学习入门

Deep leaerning 

1958 感知机(逻辑回归)

1969 感知机算法无法解决线性不可分

1980 多层感知机 DNN

1986 反向传播 三层以上的网络效果不好

1989 1hidden layer 效果就很好

2006 RBM 

2009 GPU 加速

2011 语音识别

2012 图像识别

全链接神经网络

Input vector                                                       Output vector

 

 多个Hidden layer 就是深度学习

 Matrix operation

 Neural network

 Neural Network的结果 是一连串的矩阵想乘

Hidden layer 可以看作新的特征

 Loss

total loss

模型训练的方法 反向传播

链式求导和批量梯度下降

首先设置所有的layer 的weight 的初始值

然后计算出模型的输出值

通过通过如果loss 很大,不满足要求

通过最后一层求偏导,然后进行梯度下降,并一直往前更新,直到更新到input 层,

然后计算新的权重的神经网络的loss,

如果满足要求,该模型就是我们想要的模型,如果不满足则重复操作

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值