BN层

http://blog.youkuaiyun.com/yelena_11/article/details/53924225

补充说明：

在Caffe中使用Batch Normalization需要注意以下两点，

1. 要配合Scale层一起使用，具体参见http://blog.youkuaiyun.com/sunbaigui/article/details/50807398以及Residual Network

2. 训练的时候，将BN层的use_global_stats设置为false，然后测试的时候将use_global_stats设置为true，不然训练的时候会报“NAN”或者模型不收敛 —— 这个其实挺难注意到的

layer {
bottom: "res2a_branch2b"
top: "res2a_branch2b"
name: "bn2a_branch2b"
type: "BatchNorm"
batch_norm_param {
use_global_stats: true
}
}


layer {
bottom: "res2a_branch2b"
top: "res2a_branch2b"
name: "scale2a_branch2b"
type: "Scale"
scale_param {
bias_term: true
}
}