ML:2-2-2 sigmoid 函数的替代方案


【吴恩达p62-64】

1. sigmoid function的替代方案

  1. 来看上周的例子,预测一个商品是否能成为消冠。
  2. 这里的awareness可能是binary的。人们要么知道/不知道。但事实上,可能是知道一点,完全知道…
  3. 因此,与其用0/1来预测(太简单了)或者0-1之间的数字,不如直接尝试预测awareness的概率。让awareness可以取到负值。
  4. 使用该方程,来预测awareness,会得到左侧的图像。如果想让a1_2取到大雨1的数字,在neural network里更常见的是使用右侧图像的这种activation【ReLU】,这样g(z)就可以取到所有非负数。

请添加图片描述
5. 一些常见的activation function:
(1) Linear activation function【也可以说没有使用任何activation function, 因为会直接让a = wx+b】
(2)sigmoid
(3)RuLU

请添加图片描述

2. 如何选择activation function

  1. 如何选择output layer的activation function,这取决于target label / 真
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值