文章探讨了在大模型和大数据背景下，AI研究者面临的资源限制及其应对策略。包括分享思想、制定指导原则、理解学术与工业界差异、以及探索如玩具数据实验、使用现有模型、分析大模型、RL无标注学习、小模型优化、特定领域研究、产学合作等方法。文章强调了在不公平的竞争环境下，研究者应寻找创新和独特路径。
链接：https://arxiv.org/pdf/2304.06035.pdf
作者：Julian Togelius and Georgios N. Yannakakis
随着大模型 和 大数据的出现， AI研究者 都会感到焦虑。 没有计算资源 ，没有标注的人力，很难做出突破性的研究。即使很多领域还没有出现大模型，但这个过程始终是在加速实现的。所以本文作者提出了一些想法。如作者最后所说的，(1) 分享一些想法给community，（2）提供一些guidelines ，讨论 学术届 与 工业界的AI赛道差异 （3）引发一些公开的讨论。
-
Introduction
与公司比拼，对于研究人员（小作坊）来说 是不公平的。
-
Engineering的问题。很多工程问题也不是一个phd或者postdoc能解决的。
-
Scale的问题。 作者也提到了 Sutton 关于Bitter Lesson的例子，可能越简单的方法，scale大了，自然就好了，不需要很多ad-hoc的东西。
-
类似，你开小镇杂货铺，对门来了沃尔玛。
基于这种情况下，我们要继续推动AI的发展，继续做出有意义的研究。我们该
最低0.47元/天 解锁文章
扫一扫
420
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
