CS231n笔记2--Fully Connected Neural Network与Activation Function

本文介绍了深度学习中的三种主要激活函数:Sigmoid、tanh和ReLU。Sigmoid虽然历史久远,但在饱和区存在梯度消失问题;tanh输出以零为中心,但计算复杂度高;ReLU因其高效和快速收敛成为首选,但要注意避免死区。文章还提及了ReLU的改进版如Leaky ReLU和Maxout。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

Fully Connected Neural Network与Activation Function

神经网络–Fully Connect Neural Network

一个最简单的神经网络

一个最简单的神经网络

hw,b=f(x1w1+x2w2+x3w3+b)=f(XW+b)

向量化的python代码

def f(z):
    return ReLu(z)

h = f(X.dot(W)+b)

这里 f 是激活函数(Activation Function),我们稍后会讲,这里我们先用ReLu作为激活函数。

让网络更复杂些

一个三层的神经网络
这是一个三层的神经网络,第一层称为输入层,最后一层称为输出层,其他层(这里只剩第二层)则为隐藏层,别看好像突然复杂了很多,但是事实并非如此
定义 Wli,j 为第 l 层的第i个元素的值到第 l+1 层第j个元素的值的权重,因此

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值