吴恩达深度学习课程第一课3.6-3.11学习笔记

于 2021-08-07 19:31:43 发布
阅读量312 收藏
点赞数
文章标签： 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_41883520/article/details/119478776
版权

8月7日学习笔记

激活函数

在这里插入图片描述

tahn函数
不同层的激活函数可以不一样
在这里插入图片描述
ReLU函数
一般使用ReLU函数，会使你的神经网络的学习速度快很多
在这里插入图片描述
sigmoid函数
除非用在二元分类的输出层，不然绝对不要用
在这里插入图片描述
leaky ReLU函数

激活函数的导数

在这里插入图片描述
sigmoid函数的导数计算
在这里插入图片描述
Tanh函数的导数计算
在这里插入图片描述
ReLU和Leaky ReLU函数的导数计算

神经网络的梯度下降法

在这里插入图片描述
正向传播和反向传播步骤

随机初始化

在这里插入图片描述
如果权重很大，就会使梯度的斜率很小

juiceYi
关注
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值