meta之change bias之filter learning篇（1）

动态滤波与权值分解
最新推荐文章于 2024-09-22 06:35:04 发布
原创 最新推荐文章于 2024-09-22 06:35:04 发布 · 640 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

今日两弹有关Filter Learning的文章分享

这是一篇来自2016年Nips的文章，是用输入样本（这条支路称为A路）作为条件来动态输出B路某一层卷积核参数的方法。

这是一篇来自2017年ICLR的文章，与上一篇不同之处在于，文章中控制卷积核的方式并不是通过输入样本，并且模型一旦训练，在测试过程中也不会动态的改变网络中某层的卷积核参数，即本文并不是用来做动态学习卷积核的，更确切的说，本文是用一路小网络来输出主网络的卷积核参数的。

文章具体对比如下：
第一篇的模型思想不难想像，作者希望在实际测试场景下，模型中的某些参数是依赖于输入测试样本的。考虑如下的场景：当我们在看到一个人的侧脸时，人可以“脑补”出这个人的正脸。作为训练好的模型，我们也希望她能够根据现实中的一些场景进行合理的联想和改变—反映到模型参数上就是希望参数是一些条件输入的函数，就比如前面人脸的例子。现在我们一起来看看，为了实现，作者是怎么做的：

文中提出的两个模型架构

对于左图所示模型，卷积后的output（对应的是图中显示output的地方）可以表示为，

G(i,j)=
最低0.47元/天 解锁文章
书生·浦语大模型实战营之XTuner多模态训练与测试
大模型与Agent智能体
04-16 504
书生·浦语大模型实战营之XTuner多模态训练与测试 在本节课中，我们将学习使用XTuner微调多模态LLM的内容，本部分需要的GPU资源为24GB 30% 的 A100。这是学完本节内容后的多模态LLM性能效果展示：Haotian Liu等使用GPT-4V对图像数据生成描述，以此构建出大量 – 的数据对。利用这些数据对，配合文本单模态LLM，训练出一个Image Projector。所使用的文本单模型LLM和训练出来的Image Projector，统称为LLaVA模型 LLaVA: Large Lang
Few-shot learning
EmoC的博客
11-14 561
Generals为什么一个概率分布的entropy的mean需要足够小？2 branchProcess数据gradients为什么AirDet 不需要 fine tune?为什么要fine tune?SCS module 是怎么从cross-scale relations里提取multi-scale feature的？组成用处class prototype 用在head哪里？怎么通过multi-shot support feature 得到class prototype。
DL-paper精读：Learning Filter Pruning Criterion
星月野的博客
01-20 453
Learning Filter Pruning Criteria for Deep Convolutional Neural Networks Acceleration https://openaccess.thecvf.com/content_ECCV_2018/papers/Zehao_Huang_Data-Driven_Sparse_Structure_ECCV_2018_paper.pdf background NN部署balabala~~~。 related work and ..
filter学习
cairuojin的博客
05-24 321
一、过滤器Filter简介 filter是对客户端访问资源的过滤，符合条件放行，不符合条件不放行，并且可以对目标资源访问前后进行逻辑处理。 编写步骤 1）编写一个过滤器的类实现Filter接口 2）实现接口中尚未实现的方法(着重实现doFilter方法) 3）在web.xml中进行配置(主要是配置要对哪些资源进行过滤) API详解 Filter接口有三个方法，并且这个三个...
Learning Mid-level Filters for Person Re-identification（CVPR2014）
鄠邑原野的博客
07-29 1148
Abstract 在本文中，我们提出了一种新方法，用于从自动发现的补丁簇中学习中级滤波器以进行行人再识别。我们研究行人再识别好的滤波器是很好的动力。我们的中级滤波器是有区别地学习识别特定的视觉模式和区分行人，并具有良好的交叉视角不变性。首先，定性地测量局部斑块并用它们的辨别力进行分类。收集判别性和代表性的斑块用于过滤学习。其次，通过修剪层次聚类树获得具有相干外观的斑块簇，并且提出了一种简单但有效...
Recurrent Filter Learning for Visual Tracking(RFL)论文笔记
aaon22357的博客
07-29 1401
这是一篇ICCV2017的文章，文章条理清晰，通俗易懂，做以总结如下~  本人小菜鸟一个，水平有限，如有错误恳请指正。 第一次写博客，格式可能不够完美，望海涵~   【亮点】 加了LSTM，既保留了目标空间位置信息，也保留了时序信息。offline训练结束后，在线过程不再需要微调，降低了时间复杂度，速度快。 Exemplar image是一直在变化的，LSTM的状态也是实时更新的，相对于...
《Learning to Prune Filters in Convolutional Neural Networks》论文笔记
m_buddy的博客
01-08 884
1. 概述 这篇文章提出了一种“try-and-learn”的算法去训练pruning agent，并用它使用数据驱动的方式去移除CNN网络中多余的filters。借助新的奖励机制，agent可以大量移除CNN网络中的filters，并且保持网络的精度在期望的水平内。在网络性能和规模上提供了很好的操控性。 这篇文章中的方法具有如下特点： 1）使用数据驱动的方法去剪枝。并且通过实验数据驱动方法剪枝的...
ICRA2020论文整理（SLAM + Deep Learning）
Spacegene的博客
07-20 1万+
参考:https://github.com/PaoPaoRobot/ICRA2020-paper-list Table of Contents: 1. SLAM 2. Deep Learning in Robotics and Automation 3.Localization 4. Sensor Fusion 5. Calibration and Identification 6. Semantic Scene Understanding 7. Reinforcement Learn...
CVPR 2021最全论文开放下载！附pdf下载链接！
中科院AI算法工程师的博客
06-18 1万+
CVPR 2021最全论文开放，附所有pdf下载链接！
meta learning（李宏毅
linyuxi_loretta的博客
11-13 1264
meta 元meta learning： learn to learn 学习如何学习大部分的时候deep learning就是在调hyperparameter、调hyperparameter真的很烦，决定什么network的架构啊、决定learning rate啊等等、实际上没有什么好方法来调这些hyperparameter、今天业界最常拿来解决调hyperparameter的方法呢就是买很多张gpu了、
李宏毅机器学习（十一）meta-learning和ML一样是三个步骤
qq_35222729的博客
08-31 757
Meta-learning就是教会它怎么学！ 大家以为AI都是很牛，但其实就是在调参，在工业界怎么样子调参呢？ 使用1000GPUs，而学业界只有一张！ 我们知道Machine learning可以学出来，那么hyperparameters是不是能学出来呢？ 我们回顾一下Machine Learing！其实就是三个步骤： 这里，我们定义了函数f(θ\thetaθ)，我们需要找到那个使得L(θ\thetaθ)最小的θ∗\theta^*θ∗! 同时使用fθ∗f_{\theta^*}fθ∗​成为最终的模型训练！
一切皆是映射：探索Hypernetworks在元学习中的作用
最新发布
AI天才研究院
09-22 616
一切皆是映射：探索Hypernetworks在元学习中的作用 关键词： Hypernetworks、元学习、迁移学习、自动超参数调整、个性化学习、深度学习框架、神经网络结构搜索、自适应学习速率、模型融合、知识蒸馏 1. 背景介
Udacity深度学习之卷积神经网络概念进阶高阶练习、可视化及其对应代码输出(加上一文详细理解卷积神经网络各个层的作用博客，正在写)
不负如来不负卿
01-14 789
卷积神经网络练习卷积输出维度的理解problemansweranalysis卷积参数共享的理解problem设置输出层问题及解答问题1：无共享参数的卷积层参数个数提示1question1answer1analysis1问题2：有共享参数的卷积层参数个数提示2question2answer2analysis2卷积神经网络可视化 卷积输出维度的理解 卷积神经网络中，我们都知道一个输入后都会有一个卷积层...
【深度学习】caffe 中的一些参数介绍
热门推荐
AutoVision (by 仙道菜)
05-30 4万+
caffe 是非常强大的深度学习框架，作为使用者，我们当然要对它的一些配置参数有一定的认识，本文简单介绍了caffe中的一些参数，持续更新中...
CVPR2018 | 细粒度分类 : Learning a Discriminative Filter Bank within a CNN（DFL-CNN） 及tensorflow实现
HongYuSuiXinLang的博客
11-16 7453
摘要 近期细分类模型都在其加强mid-level学习能力。先前达到此目的，1）通过一个辅助网络把局部信息加入到分类主网络，2）通过复杂的特征解码方法获取更高阶的特征统计。本文展示的方法可以在端到端内部加强mid-level学习能力，在无需额外辅助网络或者标注框情况下通过学习一行卷积核获取类别定性小块。这种卷积核行在卷积神经网络结构内部的，需要适当的非随机初始化，和非对称的多流网络结构。 1. 前言...
Caffe学习：Layers
from_jiarenyf
08-09 3万+
Caffe学习：Layers
【论文阅读笔记】NeurIPS2020文章列表Part1
zincrain的博客
12-09 2万+
A graph similarity for deep learning An Unsupervised Information-Theoretic Perceptual Quality Metric Self-Supervised MultiModal Versatile Networks Benchmarking Deep Inverse Models over time, and the Neural-Adjoint method Off-Policy Evaluation and Learning.
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值