深度学习的数学原理

在网络中，假定输入为X，输出为Y，其网络结构的参数为W和b,每次训练的损失函数为L(w,b),Cost函数J(w,b)

则：Y= W*X+b

也就是W和b与网络模型的好坏的直接相关；同时训练就是训练的W和b参数让J最小

 

参数修正

TF图：

在tf中存在计算图的前向传导和BP（后向传导）修正参数，假定计算：F(a,b,c) =  3(a+bc)

d代表计算梯度，则：

由上图知：计算图是从前向后计算，而计算梯度则是从后向前计算（故叫BP）。

损失函数及其代价函数:

 推导的PDF文档链接：http://download.youkuaiyun.com/download/hl2015222050145/10216582