[Caffe]:关于filler type

最新推荐文章于 2021-03-01 20:26:13 发布

翻译最新推荐文章于 2021-03-01 20:26:13 发布 · 2.8k 阅读

Caffe 专栏收录该内容

24 篇文章

订阅专栏

本文详细介绍了Caffe中参数填充器的作用与多种类型，包括Constant、Uniform、Gaussian等，并重点解析了Xavier与MSRA填充算法的工作原理及应用场景。

Caffe中parameter filler的作用和类型

作用

Fillers是caffe用特定算法随机生成的值来填充网络参数在blob里面的初始值。它只作用在参数的初始化阶段，与gpu无关的操作。

类型

Constant : 令填充值 $x = 0$
Uniform : 令填充值 $x\sim U(a, b)$
Gaussian : 令填充值 $x = a$
PositiveUnitball : 令填充值 $x \in [0,1]$ $\forall i \sum_j x_{ij} = 1$
Xavier :令填充值 $x \sim U(-a,+a)$ ; 其中 $a$ 与输入节点,输出节点或着两者的均值成反比 (该算法是Bengio和Glorot 2010在Understanding the difficulty of training deep feedforward neuralnetworks里提出的)
MSRA : 令填充值 $x \sim N(0, \sigma^2)$ ; 其中与输入节点,输出节点或着两者的均值成反比 (该算法是Kaiming He, Xiangyu Zhang, Shaoqing Ren, Jian Sun在Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification里提出的)
bilinear : 一般用在deconvolution 层做upsampling;例子如下:

layer {
  name: "upsample", type: "Deconvolution"
  bottom: "{{bottom_name}}" top: "{{top_name}}"
  convolution_param {
    kernel_size: {{2 * factor - factor % 2}} stride: {{factor}}
    num_output: {{C}} group: {{C}}
    pad: {{ceil((factor - 1) / 2.)}}
    weight_filler: { type: "bilinear" } bias_term: false
  }
  param { lr_mult: 0 decay_mult: 0 }
}