大模型时代下的一些科研思路

算力不够怎么办？

• Efficient：哪里慢，我就让它哪里快起来；哪里太 heavy 了，我就让它变得 lightweight 一些，总之让所有的方法变得更 efficient 一点，比如现在的 PEFT（Parameter-Efficient Fine-Tuning）。
• Exist Stuff：能不自己预训练就不自己预训练，可以调用已有的 Pre-training Model 做有意思的应用，也很有 Impact。
• New Direction：选择比较新的研究方向，避免有很多竞争者。
• Plug-and-Play：研究出通用的、可以即插即用的模块，这个模块不光可以是模型上的模块，它也有可能是一个目标函数、一个新的 loss、它也有可能也是一种 data augmentation（数据增强） 的方法。总之就是一个很简单的东西，但是能够用到各种领域当中，这个方法的好处就是，你只要选择很多很多的 baseline，然后在一个你能承受的 setting 之下去做这个实验，因为它是公平对比，只要效果好，就足可以说明你方法的有效性了，而不需要你真的在特别大的数据集上用特别大的模型去证明你的有效性。
• Dataset：构建一个数据集。
• Evaluation：做一个以分析为主的文章。
• Survey：写一篇综述论文，这个方向是最不需要计算资源的，但是也很有影响力，因为你给整个领域都提供一些非常新颖的见解，同时也能让你自己对这个领域的理解加深一点。

施一公：科学上没有所谓的真理，你们在课堂里学到的所有定理、公理都是前人对自然现象的归纳总结，是现状下最好的归纳总结，可以有效解释自然现象，甚至推测一些还未发现的现象，随着人类对周围环境和宇宙认识的加深，这些定律和公理都会有失效的时候。


本文参考：大模型时代下做科研的四个思路【论文精读·52】