大模型时代下做科研的四个思路

背景

在模型越来越大的时代背景下，如何利用有限的资源做出一些科研工作。

四个方向

1、Efficient(PEFT)

提升训练效率，这里以PEFT(parameter efficient fine tuning)为例

2、Existing stuff(pretrained model)、New directions

使用别人的预训练模型，新的研究方向

3、plug-and-play

做一些即插即用的模块，例如模型的模块、目标函数、新损失函数、数据增强方法等等。

4、Dataset,evaluation and survey

构建数据集、发表分析为主的文章或者综述论文

一、Efficient(PEFT)-第一个方向

通过论文AIM为例讲述如何进行PEFT，即在硬件资源有限时对大模型进行高效微调

• 论文地址：https://arxiv.org/abs/2302.03024
• 论文标题：AIM: Adapting Image Models for Efficient Video Action Recognition
• 标题翻译：调整图像模型以实现高效的视频动作识别

<