极简笔记 Cross-stitch Networks for Multi-task Learning

最新推荐文章于 2025-06-17 18:05:33 发布
最新推荐文章于 2025-06-17 18:05:33 发布
阅读量4.4k 收藏 5
点赞数 1
CC 4.0 BY-SA版权
分类专栏： 极简笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Hibercraft/article/details/80010885
本文探讨了Cross-stitch Networks如何在多任务学习中自动学习最优的网络共享结构，特别是在不同任务之间的权值共享效果。通过实验对比不同任务对的性能，发现某些任务相关性高时，Cross-stitch Units能提升性能。文章强调了初始化参数和学习率的重要性，并展示了该结构在小样本分类任务中的优势。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

极简笔记 Cross-stitch Networks for Multi-task Learning

论文地址: https://arxiv.org/abs/1604.03539

本篇文章研究的问题是不同层级的网络权值共享对multi-task learning的影响，同时在此基础上提出Cross-stitch units（十字绣单元），以实现自动学习最优网络共享结构。

这里写图片描述

首先，本篇文章在AlexNet的基础上，在不同层级展开task-specific分支，测试任务各自性能。文章采用<属性分类, 检测>和<平面法向量预测, 语义分割>两组直观上有一定相关性的任务对进行多任务学习。实验结果如上图所示，<属性分类, 检测>任务对，无论specific分支在什么层级，都无法同时提高两个任务的性能，说明这组任务对本质存在矛盾，不能用于共同训练。而<平面法向量预测, 语义分割>则在中间部分出现同时提高性能的现象，说明这组任务对相关性大，同时也显示specific分支层级的选择对最终性能有较大影响。

这里写图片描述

于是接下来文章就提出了cross-stitch unit，道理很简单，就是原本有两个相同结构不同单任务的网络，然后在每个对应feature map进行逐channel线性组合，然后各自输入到接下来的网络（线性组合参数可学习）。（但是逐channel线性组合在&l

最低0.47元/天 解锁文章

200万优质内容无限畅学
Cross-stitch Networks for Multi-task Learning译文_
qq_45913945的博客
11-26 1292
Cross-stitch Networks for Multi-task Learning
Value-Decomposition Networks For Cooperative Multi-Agent Learning笔记
Melody1211的博客
03-25 2469
Value-Decomposition Networks For Cooperative Multi-Agent Learning 1. 论文讲了什么/主要贡献是什么 多代理强化学习任务的解决方案存在完全集中，和独立学习两种方案。将二者结合，得到了集中学习、分散决策的值分解网络，并利用已有技术如DQN架构、目标网络、经验回放、Dueling网络以及面向部分可观测环境下采用的RNN网络，设计出值分解...
Cross-stitch Networks for Multi-task Learning
bbbeoy的专栏
08-23 1487
Cross-stitch Networks for Multi-task Learning Cross-stitch Networks for Multi-task Learning 1. 问题 2. 十字绣结构（Cross-stitch architecture） 3. 实验设计 1. 问题 假设我们有任务A和B，并且这两个任务存在一定的关联性。最常见的做法是：对相同的输入，A和B共享同一个输入特征提取网络，然后在同样的特征上，各自单独训练，得到最终结果。 至于在哪里分开（独立），我们
【论文阅读】多任务学习软参数共享经典论文:Cross-stitch Networks for Multi-task Learning
最新发布
qq_38142901的博客
06-17 1207
本文提出了一种通用的多任务学习框架Cross-stitch Networks，通过可学习的权重矩阵自动调节不同任务间的特征共享程度。该方法在每层网络插入Cross-stitch单元，以线性组合方式混合各任务特征，既保留任务特性又实现信息共享。实验表明，该结构通用性好，尤其在小样本任务上性能提升显著。相比传统硬参数共享或独立训练，Cross-stitch Networks能自动学习最优共享模式。
探索多任务学习的新维度：Cross-stitch Networks
gitblog_00095的博客
06-23 514
探索多任务学习的新维度：Cross-stitch Networks Cross-stitch-Networks-for-Multi-task-LearningA Tensorflow implementation of the paper arXiv:1604.03539项目地址:https://gitcode.com/gh_mirrors/cr/Cross-stitch-Networks-fo...
【亲测免费】 Cross-stitch Networks for Multi-task Learning 使用教程
gitblog_00242的博客
09-01 1132
Cross-stitch Networks for Multi-task Learning 使用教程 项目介绍 Cross-stitch Networks for Multi-task Learning 是一个用于多任务学习的开源项目。该项目通过引入交叉缝合网络（Cross-stitch Networks），使得单个模型能够同时处理多个任务，从而提高模型的效率和性能。交叉缝合网络通过在不同任务的特...
论文笔记：Cross-modal Contrastive Learning for Multimodal Fake News Detection
Sun_victory的博客
11-29 2657
自学论文笔记
论文笔记：Cross-Modulation Networks For Few-Shot Learning
Learn2Learn的博客
12-21 1355
这两天读完的一篇论文,Universitat Autònoma de Barcelona和Google Brain对小样本学习的研究,已被NIPS 2018 Workshop on Meta-Learning接收。其中的研究思路值得mark学习下。论文不长，除去引用和实验表格和图片,内容才3页，所以能很快读完。但里面涉及到许多概念需要补其他论文，所以需要一定时间理解，以下简单总结整理： Abstr...
极简笔记 Meta-Learning for semi-supervised few-shot classification
Hibercraft的博客
03-16 7366
极简笔记 Meta-Learning for semi-supervised few-shot classification 论文地址 https://arxiv.org/pdf/1803.00676.pdf 本篇文章核心是给出了一种用于少样本半监督学习的分类算法。总体思路非常简单，通过一个网络 (Prototypical Network)提取特征，之后对特征进行聚类，聚类中心稳定之后拿去测试...
Paper | Cross-stitch Networks for Multi-task Learning
LVXIAO2897的博客
04-18 386
目录 1. 问题 2. 十字绣结构（Cross-stitch architecture） 3. 实验设计 论文：Cross-stitch Networks for Multi-task Learning Misra, Ishan, et al. "Cross-stitch...
Cross-stitch-Networks-for-Multi-task-Learning:本文arXiv的Tensorflow实现
04-29
十字绣网络的多任务学习 该项目是TensorFlow实现的一种多任务学习方法，该方法在论文《。 争论 --lr，学习率 --n_epoch，纪元数 --n_batch_size，最小批处理大小 --reg_lambda，L2正则化lambda --keep_prob，退出保持概率 --cross_stitch_enabled，是否使用十字绣 数据集 时尚MNIST 是Zalando文章图片的数据集，由6万个示例的训练集和10,000个示例的测试集组成。 每个示例都是一个28x28灰度图像，与来自10个类别的标签相关联： 标签 描述 标签 描述 0 T恤/上衣 5 凉鞋 1个 裤子 6 衬衫 2个 套衫 7 运动鞋 3 裙子 8 包 4 外套 9 脚踝靴 为了进行多任务学习，我为每个图像创建了另一个标签，该标签基于原始标签： 标签 原始标签 描述 0 5、7、9
论文笔记讲解：A Modulation Module for Multi-task Learning with Applications
11-21
最新的关于多任务学习，如何消除不相关任务的干涉：一种用于图像检索的多任务学习的调制模块A Modulation Module for Multi-task Learning with Applications in Image Retrieval_ECCV_2018
几篇CVPR关于multi-task的整理
11-02
几篇CVPR关于multi-task的论文笔记整理，包括 一、 多任务课程学习Curriculum Learning of Multiple Tasks 1 --------------^CVPR2015/CVPR2016v--------------- 5 二、 词典对分类器驱动卷积神经网络进行对象检测Dictionary Pair Classifier Driven Convolutional Neural Networks for Object Detection 5 三、 用于同时检测和分割的多尺度贴片聚合（MPA）* Multi-scale Patch Aggregation (MPA) for Simultaneous Detection and Segmentation ∗ 7 四、 通过多任务网络级联实现感知语义分割Instance-aware Semantic Segmentation via Multi-task Network Cascades 10 五、 十字绣网络多任务学习Cross-stitch Networks for Multi-task Learning 15 --------------^CVPR2016/CVPR2017v--------------- 23 六、 多任务相关粒子滤波器用于鲁棒物体跟踪Multi-Task Correlation Particle Filter for Robust Object Tracking 23 七、 多任务网络中的全自适应特征共享与人物属性分类中的应用Fully-Adaptive Feature Sharing in Multi-Task Networks With Applications in Person Attribute Classification 28 八、 超越triplet loss：一个深层次的四重网络，用于人员重新识别Beyond triplet loss: a deep quadruplet network for person re-identification 33 九、 弱监督级联卷积网络Weakly Supervised Cascaded Convolutional Networks 38 十、 从单一图像深度联合雨水检测和去除Deep Joint Rain Detection and Removal from a Single Image 43 十一、 什么可以帮助行人检测？What Can Help Pedestrian Detection? （将额外的特征聚合到基于CNN的行人检测框架） 46 十二、 人员搜索的联合检测和识别特征学习Joint Detection and Identification Feature Learning for Person Search 50 十三、 UberNet：使用多种数据集和有限内存训练用于低，中，高级视觉的通用卷积神经网络UberNet: Training a Universal Convolutional Neural Network for Low-, Mid-, and High-Level Vision using Diverse Datasets and Limited Memory 62 一共13篇，希望能够帮助到大家
多任务——Cross-stitch
小花生的博客
08-02 2418
《Cross-stitch Networks for Multi-task Learning》2016 要解决的问题：多任务的网络结构没有普遍性 创新点：以往的多任务网络结构都是人为设计，从哪层分离，哪层结合，并且需要大量的实验才能验证网络结构的有效性。作者提出了一种使用多任务方式来学习ConvNets中的共享表示的原则性方法。 具体来说，提出了一个新的共享单位：“十字绣”单位。这些单元结...
针对多任务学习的“十字绣网络”
qq_33880788的博客
06-04 2243
多任务学习是机器学习的重要组成部分，但是对于应用深度学习进行多任务学习时会遇到一个棘手的问题，那就是我们该如何确定网络的共享部分。针对不同的任务，其最佳共享层往往不同。 此外，针对不同的多任务学习，我们需要根据任务需求设计不同的共享层，并没有统一的标准。因此，本文针对这一问题设计了“十字绣”单元，通过端对端的学习来自动决定共享层。 论文： Cross-stitch Networks for M...
自动寻找如何共享特征层的“十字绣”网络：Cross-stitch Networks for Multi-task Learning
qq_24305433的博客
05-26 3963
1、简介多任务学习是机器学习中重要的一部分，关于多任务学习的更多内容可以去看这篇文章。但是对于应用深度学习进行多任务学习会遇到一个棘手的问题，那就是我们该如何确定网络的共享部分。针对不同的任务，其最佳共享层往往存在不同，其中作者针对使用AlexNet网络分别进行图像检测、图像属性生成及图像语义分割、图像平面法向量（Surface Normal）进行多任务学习，针对两个任务，作者分别从fc8层进行共...
CMU提出「十字绣网络」，自动决定多任务学习的最佳共享层
Paper weekly
05-29 1050
在碎片化阅读充斥眼球的时代，越来越少的人会去关注每篇论文背后的探索和思考。在这个栏目里，你会快速 get 每篇精选论文的亮点和痛点，时刻紧跟 AI 前沿成果。点击本文底部...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值