MatConvNet--VL_NNBNORM

VL_NNBNORM - CNN批量标准化。
Y = VL_NNBNORM(X,G,B)对输入X应用批次归一化。批量归一化定义为:

Y(i,j,k,t) = G(k) * (X(i,j,k,t) - mu(k)) / sigma(k) + B(k)

其中,

mu(k) = mean_ijt X(i,j,k,t),
sigma2(k) = mean_ijt (X(i,j,k,t) - mu(k))^2,
sigma(k) = sqrt(sigma2(k) + EPSILON)

分别是数据X中每个特征通道的每通道平均值,方差和标准偏差。参数G(k)和B(k)是乘法的,并且加性常数用于缩放每个数据通道。

在存储在4D张量X(从其导出名称批量归一化)中的所有数据项(图像)上累积均值和方差。 常数EPSILON用于规则化sigma(k)的计算并避免除以零。

[DZDX,DZDG,DZDB] = VL_NBNORM(X,GB,DXDY)计算投影到DZDY上的块的导数。 DZDX,DZDG,DZDB和DZDY分别具有与X,G,B和Y相同的尺寸。

可选地,[Y,MOMENTS] = VL_NNBNORM(…)和[DZDX,DZDG,DZDB,MOMENTS] = VL_NNBNORM(…,DZDY)返回上述公式中的向量mu和sigma的值。 这里,MOMENTS是DEPTH×2阵列[MU,SIGMA]。

VL_NNBNROM(…,’Option’,value)采用以下选项:
Epsilon [1e-4]
指定上面公式中的常数EPSILON。
Moments [unspecified]
指定使用mu和sigma的值的数组MOMENTS,而不是根据上面的等式计算它们。 这有助于在测试期间禁用批次标准化。
CuDNN [specified]
如果指定,打开CuDNN。 默认情况下,CuDNN处于打开状态。 此选项可用于撤消参数列表中先前NoCuDNN选项的效果。
NoCuDNN [not specified]
如果指定,关闭CuDNN。

参见: VL_NNNORMALIZE( )

评论 5
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值