失业人员都能中ICLR, 2020的你有什么做不到的

我成为了一名独立研究者，我不推荐你也这样做。但如果你坚持要「作死」的话……你可能最终能中一个顶会 Spotlight paper。 -Andreas Madsen

一位名叫 Andreas Madsen 的小哥自北欧名校丹麦科技大学本科+硕士毕业之后（成绩是 top3%），却发现自己找不到一个研究工程师的工作。而在最近无业的这段时间里，他写的论文中了 ICLR 2020，还是 Spotlight......

 

2018年3月， Andreas Madsen以第一作者的身份在distill.pub 平台上发表了第一篇机器学习论文，介绍了两个准确度相似的模型在NLP上的显著交互可视性有很大不同。那时，他觉得凭借这篇论文以及机器学习的硕士学位就可以申请PhD、研究工程师、实习项目等了，于是就开始向谷歌、微软、Rakuten、ElementAI、英伟达、Hypefactors等公司投递简历，结果一个面试邀请都没收到，啥都没有。托关系，找朋友的，Andreas得到了这么一个回答：

「你得有一两篇顶会论文啊」
现在的顶级人工智能 PhD 项目需要有顶会论文才能申请了。我曾经在某大学待过，如果你连一篇 ACL，EMNLP，CVPR，ICCV，NeurIPS，ICML 论文都没有的话，你几乎就不可能成功申请到某大学了。-某top5大学回复
你

说发就发啊，那就发呗。于是乎， Madsen在19年4月全身心投入到了科研工作中，剑指NeurIPS和ICLR,。

 

如果失败的话，我就当个JavaScript程序员吧。-Andreas Madsen

没钱怎么整，挣！

Madsen的朋友向他推荐了一个项目。该项目不仅需要详细了解 Node.js 的内部构件，还要有统计学背景和网页可视化技术。由于Madsen对Node.js有长达六年的接触，因此获得了非常高的薪水，够他在丹麦这种高消费国家支撑3到4年的那种。

 

除此之外，Madsen被邀请开发IoT智能手表/胸牌的TensFlow部分。

 

没idea怎么办，有人有啊！

对于一般的学生来说，一个好的idea是发文章的第一步，而这个idea往往源自于导师。于是乎，Madsen找到了自己的合作伙伴- Alexander R Johansen，一位助理研究员，他告诉Madsen他的几名学生尝试复现 DeepMind 的论文「NALU」，但都失败了。所以，他问Madsen是否愿意对此进行研究，研究结果或许能够成为一篇 NeurIPS 论文。

 

 

由于Madsen的硕士学位论文和在 Distill 上发表的论文都是对其他人夸大其词或误导性的作品提出批评，然后对它们进行修正改善。并且，复现论文的难点在于优化，而该领域正是他所擅长的。就这样，两人一拍即合，开始了他们轰轰烈烈的事业。

几乎所有发表的论文都会对效果夸大其词，所以修正改善他人的论文内容是一种可行的研究策略。 -Andreas Madsen
没人安慰怎么搞，呃 ("▔□▔)

找不到解决方法、遭遇不公正的评审、得不出有用的结果、发现某个重要缺陷……甚至担心即便发表了也会因为课题过于小众而被淹没。焦虑与恐惧一直缠绕着Madsen。

 

• 我通常会与 Alexander 开周会，讨论一下新的想法。虽然 Alexander 并没有 Ph.D. 学位，但他是非常杰出的批判性思考者。我并不认为必须和那些有很多一作发表经历，或者有多年论文指导经验的人交流。重要的是，我们需要和那些能质疑我们研究工作的人交流。不然的话，我们可能会变得懒惰，从而对那些论文中的错误视而不见。与他们讨论你的论文，这会给你更大的压力，从而避免找一些「捷径」。
• 我会做多个子项目，如果把所有时间都分配给相同的工作，那么这样的风险太大。我们可以花些时间做那些有用的小项目。写个开源工具、复现个知名论文都非常有帮助。有时候，把视线从研究移开、放松一些也是非常有必要的。即使研究项目失败了，但至少完成了某些小项目。在我的经历中，有这些业余项目，其它研究者会更认同你，这对你是非常好的一种鼓励。

 

三天完成的业余项目示例，其它研究者会向你表示感谢，这是非常有价值的鼓励。
期间，他还去了日本旅了趟游。日本真是个治愈人心的好地方啊，好想去度假啊（小编心声）。
被NeurIPS 2019拒绝了

 

拿到 NeurIPS 2019. 审稿意见的我本人。——「Red Ink」绘画 byJorge Cham
NeurIPS 2019的审稿人更偏向于已经发布的成果，对这种带有批判性的论文持有质疑，更何况Madsen动的是Deepmind的奶酪。
提交ICLR 2020时，Madsen已经对文章补充了更多的证据和实验去支持表述的观点。他们还发了个推特，@了MALU的一作，获得了：Great Work！有了好的基准，我们才能继续提升（模型的性能）的回复。

 

在此次ICLR 2020的评审攻坚战中，Madsen又遇到了其在投稿NeurIPS时的评委，然而此次他/她给出的评论却是：the contributions presented in this paper are too incremental.

 

尽管此次ICLR 2020的投稿过程跌宕起伏，但Madsen的作品在最后关头入选了录取论文列表，还是以Spotlights的形式被展示，也算是皆大欢喜。
看到这里，小编想到了《肖申克的救赎》里的一句台词。Some birds aren't meant to be caged, that's all. Their feathers are just too bright.有些鸟注定是不会被关在笼子里的，因为它们的每一片羽毛都闪耀着自由的光辉。