神经网络向量化与矩阵维度 [Andrew Ng 深度学习笔记]

成本函数:

单样本时,假设成本函数为:

Cost\, \, function=L(\hat{y}, y),  \hat{y} 为预测值,y 为标签值

那么多样本时,假设样本数为 m, 成本函数为:

Cost\, \, function=\sum_{i= 1}^{m}L(\hat{y}^{(i)}, y^{(i)})

就是把每个样本分别算出成本函数再相加。大概的思路是把m个样本的每次实验当作独立同分布的,所以总共m次实验在概率上应该全部乘起来。对累乘的结果取对数,增减性不变。把对数符号里的累乘符号提出,就变成累加的了。

为了方便后续计算,使 m 不同时,成本函数依然在一个数量级(保持和单样本时一样的尺度),故要对成本函数进行缩放

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值