神经网络向量化与矩阵维度 [Andrew Ng 深度学习笔记]

成本函数：

单样本时，假设成本函数为:

,   为预测值， 为标签值

那么多样本时，假设样本数为 m, 成本函数为：

就是把每个样本分别算出成本函数再相加。大概的思路是把m个样本的每次实验当作独立同分布的，所以总共m次实验在概率上应该全部乘起来。对累乘的结果取对数，增减性不变。把对数符号里的累乘符号提出，就变成累加的了。

为了方便后续计算，使 m 不同时，成本函数依然在一个数量级（保持和单样本时一样的尺度），故要对成本函数进行缩放

在前面加一个尺度因子（scale factor），公式变为：