Caffe源码理解1：Blob存储结构与设计

最新推荐文章于 2023-10-18 17:55:58 发布

原创

最新推荐文章于 2023-10-18 17:55:58 发布 · 652 阅读

4 ·

CC 4.0 BY-SA版权

文章标签：

#caffe

Blob作为Caffe的基础数据结构，用于存储和传输数据，提供统一内存接口。它隐藏了CPU与GPU之间的数据同步，根据需求自动同步。Blob支持Nd维数组，常用于表示图像批次、模型参数等。主要成员变量包括数据区，行优先存储。成员函数涉及构造、设置、数据更新、运算和辅助操作。在训练过程中，Blob通过Update函数更新参数。

博客：blog.shinelee.me | 博客园 | 优快云

Blob作用

据Caffe官方描述：

A Blob is a wrapper over the actual data being processed and passed along by Caffe, and also under the hood provides synchronization capability between the CPU and the GPU. Mathematically, a blob is an N-dimensional array stored in a C-contiguous fashion.

Caffe stores and communicates data using blobs. Blobs provide a unified memory interface holding data; e.g., batches of images, model parameters, and derivatives for optimization.

Blobs conceal the computational and mental overhead of mixed CPU/GPU operation by synchronizing from the CPU host to the GPU device as needed. Memory on the host and device is allocated on demand (lazily) for efficient memory usage.

Blob是Caffe中的基础数据结构，主要作用如下：

存储和传输数据，对外提供统一的内存接口。在Caffe中，输入图像、每层的权重和反向传播时的梯度、每层的输入和输出等都以Blob形式管理
隐藏CPU和GPU之间数据同步的细节（通过SyncedMemory实现），用户使用时不需要自己管理CPU和GPU间的数据同步

在逻辑上，Blob是个 $N_d$ 维张量。当 $N_d=4$ 时，Blob的shape定义为 $N * C * H * W$ ，即 $N u m * C h a n n e l * H e i g h t * W i d t h$ ，可以表示输入图像Batch、卷积层的kernel参数、卷积层的输入输出map等；当 $N_d=2$ 时，可以表示全连接层的权重， $N_{out} * N_{in}$ ；当 $N_d=1$ 时，可以表示卷积层和全连接层的bias参数。