meta之change bias之filter learning篇(1)

今日两弹有关Filter Learning的文章分享

这是一篇来自2016年Nips的文章,是用输入样本(这条支路称为A路)作为条件来动态输出B路某一层卷积核参数的方法。

这是一篇来自2017年ICLR的文章,与上一篇不同之处在于,文章中控制卷积核的方式并不是通过输入样本,并且模型一旦训练,在测试过程中也不会动态的改变网络中某层的卷积核参数,即本文并不是用来做动态学习卷积核的,更确切的说,本文是用一路小网络来输出主网络的卷积核参数的。

文章具体对比如下:
第一篇的模型思想不难想像,作者希望在实际测试场景下,模型中的某些参数是依赖于输入测试样本的。考虑如下的场景:当我们在看到一个人的侧脸时,人可以“脑补”出这个人的正脸。作为训练好的模型,我们也希望她能够根据现实中的一些场景进行合理的联想和改变—反映到模型参数上就是希望参数是一些条件输入的函数,就比如前面人脸的例子。现在我们一起来看看,为了实现,作者是怎么做的:

文中提出的两个模型架构

对于左图所示模型,卷积后的output(对应的是图中显示output的地方)可以表示为,

G(i,j)
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值