NAS-Bert——确保One-shot与Task-agnostic

最新推荐文章于 2024-03-16 06:30:00 发布
最新推荐文章于 2024-03-16 06:30:00 发布
阅读量748 收藏
点赞数 1
分类专栏： NAS Transformer 自然语言处理 文章标签： 深度学习 人工智能 模型压缩 网络结构搜索 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/nature553863/article/details/120764285
版权
NAS-Bert在Bert的预训练阶段采用权重共享的One-shot NAS，旨在满足跨平台资源限制的模型压缩和下游任务的迁移学习。通过Block-wise搜索和知识蒸馏提高效率，使用渐进式Shrinking策略降低搜索空间。在GLUE Benchmark上展示了优于手工设计和其它压缩策略的性能。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Paper地址：https://arxiv.org/abs/2105.14444

概述

NAS-Bert在大规模预训练阶段（Bert自监督预训练），通过实施权重共享形式的One-shot NAS，实现了Once for all与Task-agnostic两个目的，分别满足不同平台资源约束的压缩需求、以及不同下游任务的迁移训练需求。

Method

  • 搜索空间：基于Weight-sharing的特点（Single-path One-shot形式），每个Bert layer（进一步细分为2个Sub-layer）由一系列候选的Block-choice并排而成，共同构成了超网络。这些Block-choice包括MHA、FFN、SepConv与Identity四个基本模块结构，且由不同的Attention heads数、Hidden size与kernel size决定了26个候选的Operations。搜索空间具体如下所示：

    最低0.47元/天 解锁文章
    深度学习系列资料总结
    专注大数据与人工智能技术分享，欢迎私信加群互相学习！
    07-17 2万+
    说明本系列深度学习资料集合包含机器学习、深度学习等各系列教程，主要以计算机视觉资料为主，包括图像识别、分类、检测、分割等，内容参考Github及网络资源，仅供个人学习。深度学习定义一般是指通过训练多层网络结构对未知数据进行分类或回归深度学习分类有监督学习方法——深度前馈网络、卷积神经网络、循环神经网络等；无监督学习方法——深度信念网、深度玻尔兹曼机，深度自编码器等。手写机器学习笔记github机器学习算法公式推导以及numpy实现github人工智能相关术语link。..................
    突破AI人工智能深度学习的瓶颈
    最新发布
    AI天才研究院
    05-10 955
    数据依赖过载：训练需千万级标注数据，领域迁移成本高昂计算资源壁垒：GPT-4训练消耗1.28万个GPU月，中小企业难以负担泛化能力天花板：对抗样本攻击下准确率骤降30%-50%动态适应缺陷：环境分布漂移时需全量重训，响应周期长达数周本文聚焦这四大瓶颈，从理论建模、算法创新、工程实践三个维度提出突破方案，涵盖数据增强、模型压缩、元学习等12项关键技术，适用于图像识别、语音处理、推荐系统等主流AI场景。章节核心内容核心概念构建瓶颈分析框架，可视化传统深度学习系统架构缺陷算法原理。
    DL-Paper精读：NAS-BERT
    星月野的博客
    06-21 363
    NAS-BERT: Task-Agnostic and Adaptive-Size BERT Compression With Neural Architecture Search https://zhuanlan.zhihu.com/p/382164328/edit#:~:text=NAS-BERT%3A%20Task,%E7%AE%97%E6%98%AF%E4%B8%80%E4%B8%AA%E7%BC%BA%E6%86%BE%E3%80%82 Backgroud 尽管BERT等一票预训练模型已经在
    Task-Agnostic Meta-Learning
    qq_33778339的博客
    06-27 2610
    近一段时间来，元学习（Meta-Learning）在深度学习领域获得了广泛的关注。与大部分其他的机器学习算法相比，元学习最突出的特定是“Learning to Learn”，即用机器学习的方法去学习训练方法。比如，基于梯度下降的训练算法，它有两个在传统机器学习框架下不可学习的超参数：1）初始的模型参数；2）每步的更新步长。一方面，模型参数往往通过随机初始化来实现。但由于大部分深度学习模型都是非凸的...
    Task-Agnostic Meta-Learning for Few-shot Learning 论文笔记
    qq_30146937的博客
    03-26 1230
    前言 最近越来越多的工作使用元学习来处理小样本学习问题。一般来说，元学习模型包括两部分：初始模型和更新策略，其中初始模型是在大量任务上进行训练得到的，更新策略是为了使初始模型能够适应一个只有少量样本的新任务。所以元学习的目标就是，能够自动学习初始模型和更新策略的最优参数，从而使得模型能够泛化到各种其它任务上。 然而，现有的元学习方法存在一个普遍问题，就是初始模型在训练时可能对某些任务有偏差，即更偏...
    VLM: Task-agnostic Video-Language Model Pre-training for Video Understanding
    afanti_1的博客
    04-16 1511
    VLM: Task-agnostic Video-Language Model Pre-training for Video Understanding VLM：用于视频理解的任务无关的视频语言模型预训练
    008 Task-Agnostic Privacy-Preserving Representation Learning via Federated Learning（隐私对抗训练PAT）
    Uzz_yuzaizai的博客
    06-28 538
    借助联邦学习的任务不可知的隐私保护 方法：PAT（隐私对抗训练）算法，从特征中隐藏隐私信息（模拟了努力从提取的特征中推断隐私属性的对手和旨在保护用户隐私的防御者之间的博弈）——>提出MaxMI算法保留原始信息（目的是最大化原始数据特征之间的相互信息，以及私有信息与保留信息之间的联合）...
    浅谈BERT/Transformer模型的压缩与优化加速
    Paper weekly
    12-31 4353
    ©作者 | 姚益武单位 | 阿里巴巴集团研究方向 | AI算法与工程架构前言BERT/Transformer结构及其变体，已成为自然语言处理（NLP）、语音识别 （ASR）等领域的主流序...
    【术语3-微调篇】打败99%小白！一学就会的大模型专业术语，读这一篇就够了
    大F子的智能小课
    03-16 587
    一种基于梯度下降的优化算法，结合了动量和RMSprop技术，常用于训练深度学习模型。利用在一个任务上学到的知识来提高在另一个相关任务上的表现的机器学习方法。一种技术，用于改善网络训练过程，通过调整每个小批量数据的分布来稳定学习。训练神经网络时减少灾难性遗忘的技术，通过保护重要权重的重要性来实现。一种优化算法，用于训练各种类型的神经网络，通过随机样本更新权重。一种对序列数据进行建模的神经网络，适合处理与时间相关的任务。通过创造变化的训练样本来增加数据集的大小和多样性的技术。
    论文阅读问题总结(五)：Task-Agnostic Meta-Learning for Few-shot Learning
    qq_32599109的博客
    03-23 391
    1.本文作者提出了什么问题？ 当前基于梯度的元学习方法(MAML, Reptile)虽然针对模型学习到了可以泛化到不同task的初始化参数，但作者指出学习到的初始化参数并不是针对各个task都可以很好地泛化，对与training task相似的task可以快速泛化且perform well，但对一个与training task相似度较低的new task并不一定能很好地泛化。总而言之学到的初始化参数模型是一个有偏(biased)的模型。 2.针对上述问题，作者提出的解决思路？ 1.outer-loop设计一
    论文解读VLM: Task-agnostic Video-Language Model Pre-training for Video Understanding
    qq_41932160的博客
    03-04 1237
    简介 vlm是一个task-agnostic multi- modal pre-training approach。无特定任务的多模态预训练方法。用于视频理解。主要贡献如下： In summary, the main contributions of this paper are as follows: (1) we propose to pre-train a task- agnostic encoder for video understanding; (2) we introduce masked m
    论文解读：Task Agnostic Meta-Learning for Few-shot Learning（TAML）
    夏栀的博客
    04-26 1643
    论文解读：Task Agnostic Meta-Learning for Few-shot Learning（TAML）   通常的，元学习可以被在多个任务（task）上训练以期望能够泛化到一个新的task。然而当在现有的task上过度地学习（过拟合），在新的task泛化能力会变差。换句话说，初始的meta-learner在现有的task上会学习到有偏的知识（bias），特别是样本数量非常少的情况下。为了避免在样本数量非常少时，meta-learner会学习到有偏的信息，本文提出一种Task-Agnosti
    保姆级带你深入阅读NAS-BERT
    华为云官方博客
    10-19 1340
    摘要：本文用权重共享的one-shot的NAS方式对BERT做NAS搜索。
    MobileBERT: a Compact Task-Agnostic BERT for Resource-Limited Devices（2020-4-6）
    weixin_49346755的博客
    10-14 588
    近年来，自然语言处理(NLP)通过使用具有数亿个参数的巨大预训练模型取得了巨大的成功。然而，这些模型受到沉重的模型尺寸和高延迟的影响，因此无法部署到资源有限的移动设备上。因此这里提出了MobileBERT来压缩和加速流行的BERT模型。与原始的BERT一样，MobileBERT是任务不可知论的，也就是说，它可以通过简单的微调通用地应用于各种下游NLP任务。基本上，MobileBERT是BERTLARGE​的精简版，同时配备了瓶颈结构和精心设计的在自注意和前馈网络之间的平衡。
    简单学点大模型-大模型之Adaptation
    2201_75734742的博客
    09-20 766
    例如，在“I am learning LLM”的句子中，“-am”是辅助动词，“ learning”是主要动词，“ I”是主语名词，而“ LLM”是宾语。具体地，对于一个在训练在主任务上的大型神经网络，Probe是一个插入在其中间层的浅层神经网络，通常是一个分类器层。常见的做法是使用预训练的网络（例如在ImageNet上训练的分类1000类的网络）来重新fine-tuning（也叫微调），或者当做特征提取器。：模型微调可以获得更好的零样本学习能力，以适应新的、没有在训练中出现过的下游任务。
    持续学习+元学习+无监督学习文章调研（四）
    weixin_42939529的博客
    03-04 1655
    持续学习+元学习+无监督学习文章调研（四）文章Task Agnostic Continual Learning via Meta Learning, arXiv 1906.05201任务定义框架定义：What&How框架实现与实验结果评价Few-shot Continual Learning: a Brain-inspired Approach, Arxiv 2104.09034任务定义持续学习和小样本泛化能力的相互干扰解决方案：正则化和快慢网络（元学习）实验结果 文章 Task Agnostic
    压缩模型NAS
    爱吃火锅的博客
    07-27 1729
    前言： bert等预训练模型虽然大放异彩，但是实际在落地的时候还是遇到各种问题，比如：储存空间的限制，时延的限制等等。为此有很多工作都是针对预训练模型的压缩展开的。比如最常见的就是模型蒸馏，今天想说的是另外一个思路：NAS即模型搜索，其主要思路就是不需要人为去设计特定的网络，而是让模型自己去选择，这类方法通常需要考虑的两点就是： （1 ）怎么定义候选空间。 （2 ）加速训练 缺点其实很明显了，那就是耗时、资源，今天就来看一篇。 TASK-AGNOSTIC ANDADAPTIVE-SIZEBER..
    论文阅读笔记《Task-Agnostic Meta-Learning for Few-shot Learning》
    深视
    05-29 3095
    核心思想   本文提出了一种基于任务无偏思想的元学习算法用于解决小样本学习问题。基于参数优化的元学习算法是小样本学习领域中的一个重要的分支，如MAML，Meta-LSTM，这一类型的算法试图通过元学习的方式得到一个较好的初始化模型或者梯度下降的方向，使得模型能够只利用较少的新样本，就能实现很好的效果。而作者指出其中潜在的一个问题，就是模型在训练过程中容易产生对于训练任务的偏好，而导致泛化能力下降。这一点是很好理解的，无论我们怎样期待我们得到的初始模型通用性有多好，但毕竟是在一定范围内的样本上进行训练，得到的
    【论文翻译】Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks
    weixin_40523230的博客
    12-16 5999
    最近集中火力肝imitation learning。。MAML是一个重要的方法论，写给自己凑活看的。。。。开始 Abstract 本文针对meta-learning提供了一种模型不可知的的算法，适用于任何基于梯度下降的模型，可以应用于不同的学习问题：分类/回归/RL。meta-learning的目标是：“基于不同的任务进行训练，接下来只需要少数训练样本就可以完成新任务”。在“从新任务中获...
    评论
    添加红包

    请填写红包祝福语或标题

    个

    红包个数最小为10个

    元

    红包金额最低5元

    当前余额3.43元 前往充值 >
    需支付：10.00元
    成就一亿技术人!
    领取后你会自动成为博主和红包主的粉丝 规则
    hope_wisdom
    发出的红包
    实付元
    使用余额支付
    点击重新获取
    扫码支付
    钱包余额 0

    抵扣说明：

    1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
    2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

    余额充值