15、基于文本文件设计与训练神经网络

基于文本文件设计与训练神经网络

1. 卷积层参数初始化

在训练包含可训练参数的层（如卷积层）之前，需要对其进行初始化，具体是对卷积滤波器（权重）和偏置进行初始化。可以通过将每个权重/偏置设置为随机数来实现，而随机数的生成可以使用不同的分布和方法。 LayerParameter 中的 weight_filler 和 bias_filler 参数指定了初始化方法的类型，它们都是 FillerParameter 的实例，定义如下：

message FillerParameter {
  optional string type = 1 [default = 'constant'];
  optional float value = 2 [default = 0];
  optional float min = 3 [default = 0];
  optional float max = 4 [default = 1];
  optional float mean = 5 [default = 0];
  optional float std = 6 [default = 1];

  enum VarianceNorm {
    FAN_IN = 0;
    FAN_OUT = 1;
    AVERAGE = 2;
  }
  optional VarianceNorm variance_norm = 8 [default = FAN_IN];
}

常见的 typ