AI Flash

Paper地址：https://arxiv.org/abs/2111.15668GitHub链接：GitHub - MengLcool/AdaViT: Official implementation of AdaViTViT基于其自身结构的特点或优势，具备较好的抽象语义表达或特征表征能力：然而，针对不同难易程度的样本，ViT实际计算所需的Patch数量、Attention head数目或网络层数可以存在区别，因此可构成样本驱动形式的条件计算。 ​AdaViT通过设计动态网络结构，可根据输入样本的难易、自适应

Paper地址：https://arxiv.org/abs/2201.00814GitHub链接：https://github.com/Arnav0400/ViT-SlimViT Slimming通过结构搜索与Patch selection的结合，一方面实现了多维度、多尺度结构压缩，另一方面减少了Patch或Token的长度冗余，从而有效减少参数量与计算量。具体而言，为ViT结构中流动的Tensor定义了相应的Soft mask，在计算时将二者相乘，并在Loss function中引入Soft mask的L

Paper地址：https://arxiv.org/abs/2105.14444概述NAS-Bert在大规模预训练阶段（Bert自监督预训练），通过实施权重共享形式的One-shot NAS，实现了Once for all与Task-agnostic两个目的，分别满足不同平台资源约束的压缩需求、以及不同下游任务的迁移训练需求。Method搜索空间：基于Weight-sharing的特点（Single-path One-shot形式），每个Bert layer（进一步细分为2个Sub-laye

paper: https://arxiv.org/abs/2005.14187github: https://github.com/mit-han-lab/hardware-aware-transformers相关论文：once-for-all: https://arxiv.org/abs/1908.09791bigNAS: https://arxiv.org/abs/2003.11142Introduction当需要对Transformer进行NAS的时候，面临两个问题..

Paper链接：https://arxiv.org/abs/2011.09011GitHub (PyTorch)：https://github.com/facebookresearch/AttentiveNASTwo Stage One-shot NAS结合资源约束的网络结构搜索（NAS: Network Architecture Search），通常被定义为如下形式（以FLOPS约束为例）：其中A表示搜索空间，可以是Input Resolution、Kernel size、Wid.

Paper：https://arxiv.org/abs/2010.15821GitHub (NNI)：https://github.com/microsoft/nni/blob/master/docs/en_US/NAS/Cream.rstGitHub：https://github.com/microsoft/CreamCream基本原理One-shot NAS： 搜索过程中，设置Prioritized Board，收集精度与速度满足要求的最佳Sub-networks，并按末尾淘汰.

"FBNet: Hardware-Aware Efficient ConvNet Design via Differentiable Neural Architecture Search"Paper Link: https://arxiv.org/abs/1812.03443Github (PyTorch): https://github.com/AnnaAraslanova/FBNetIntroductionSearch SpaceDARTS、AdaBert等方法: 以Cell