深度学习记录第一天--神经网络

一直没搞懂神经网络到底是个什么玩意,今天看了斯坦福的深度学习基础教程才算知道神经网络的那个经典的三层结构。以下是原文:
以监督学习为例,假设我们有训练样本集 这里写图片描述,那么神经网络算法能够提供一种复杂且非线性的假设模型这里写图片描述 ,它具有参数 这里写图片描述,可以以此参数来拟合我们的数据。

为了描述神经网络,我们先从最简单的神经网络讲起,这个神经网络仅由一个“神经元”构成,以下即是这个“神经元”的图示:


这里写图片描述


这个“神经元”是一个以这里写图片描述及截距+1为输入值的运算单元,其输出为这里写图片描述,其中函数这里写图片描述被称为“激活函数”。在本教程中,我们选用sigmoid函数作为激活函数
这里写图片描述
可以看出,这个单一“神经元”的输入-输出映射关系其实就是一个逻辑回归(logistic regression)。
虽然本系列教程采用sigmoid函数,但你也可以选择双曲正切函数(tanh):
这里写图片描述
以下分别是sigmoid及tanh的函数图像:
这里写图片描述
这里写图片描述
tanh(z) 函数是sigmoid函数的一种变体,它的取值范围为[-1,1] ,而不是sigmoid函数的[0,1] 。
注意,与其它地方(包括OpenClassroom公开课以及斯坦福大学CS229课程)不同的是,这里我们不再令x_0=1 。取而代之,我们用单独的参数 b来表示截距。
最后要说明的是,有一个等式我们以后会经常用到:如

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值