CS231n-Assignment 2

flatten的作用

relu的求导

小于0时，导数为0;大于0时,导数为1。

epochs和iterations

神经网络中的 Epochs, Batchsize, Iterations 具体是什么

Normalization

『计算机视觉』各种Normalization层辨析

• BatchNorm：batch方向做归一化（对一个通道内所有样本求平均），算$N\ast H\ast W$的均值

• LayerNorm：channel方向做归一化（对一个样本的所有通道求平均），算$C\ast H\ast W$的均值

• InstanceNorm：一个channel内做归一化，算$H\ast W$的均值

• GroupNorm：将channel方向分group，然后每个group内做归一化，算$(C//G)\ast H\ast W$的均值

assignment2

• Batch Normalization 是对这批样本的同一维度特征（每个神经元）做归一化，
• Layer Normalization 是对这单个样本的所有维度特征做归一化。

batch normolization

batch size设置

深度学习中的batch的大小对学习效果有何影响？
Batch_Size 详解