Rorn Shi

Implementation Details一个Blob存储两块内存的数据：data和diff。data是沿着神经网络传递的正常数据，diff则是网络计算的梯度。另外，实际数值可能存储在CPU或GPU。有两种方式访问数据，对GPU、CPU和diff同样适用：1、常值访问(const)：不改变数值2、可变访问(mutable): 改变数值例如，const Dtype* cpu_data() cons...

Forward和Backward是一个网络的基本计算。先考虑一个logistic regression分类器。前向通路使用输入计算输出，用于推理。计算模型表示的函数，前向通路从bottom到top。数据通过内积层传递到, 然通过softmax函数传递到以及softmax损失给反向通路在损失函数处开始，并计算关于输出的梯度。关于模型其余部分的梯度通过链式规则逐层计算。带有参数的层，比如INNER_P...

在caffe中，正如大多机器学习那样，学习通过损失函数驱动（也常称作error, cost, 或objective function）。损失函数指定了学习的目标通过把网络权重映射到一个标量值来指定这些参数设置的“恶劣状态”。因此学习的目标就是发现权重的设置来最小化损失函数。在caffe中，loss通过网络的前向传播计算。每一层使用输入blob（bottom）来产生输出blob(top)。这些层的输...