满绩毕业，谷歌 Gemini 团队新晋华人博士给科研新人的7点建议

最新推荐文章于 2025-08-28 22:25:59 发布

转载最新推荐文章于 2025-08-28 22:25:59 发布 · 198 阅读

CC 4.0 BY-SA版权

Datawhale干货

分享：薛复昭，来源：新智元

就在Gemini 2.0发布之前几天，一位新晋华人博士宣布加入Google DeepMind，作为高级研究科学家致力于Gemini预训练和多模态研究。

薛复昭，博士毕业于新加坡国立大学师从尤洋教授，2021年以5.0的GPA成绩硕士毕业于南洋理工大学，师从庄永聪教授和孙爱欣教授。

在新加坡国立大学攻读博士期间，曾在Google Brain与谷歌天才科学家Yi Tay和Mostafa Dehghani一起实习，并在NVIDIA GEAR与Jim Fan和Yuke Zhu一起实习。

读博3年的7点心得

虽然工程能力普遍很重要，但在学术界似乎特别被低估。例如，在我几年前的经历中，人工智能博士招生很少进行编程面试。这很令人惊讶，因为实现是将人工智能想法付诸实践的关键步骤。许多人可能会广泛讨论研究概念，但无法将其转化为实际应用。

强大的工程能力不仅能让我们为大规模项目做出贡献（这是在大语言模型社区产生重要影响的常见方式），还能激发创新的研究思路。最近的进展，如Scaling Law, MoE, GQA, Flash Attention，往往源于对底层技术和社区面临挑战的深入理解。

什么是「研究品味」？在我看来，就是比他人更早识别出有前景的研究方向的能力。那么...该如何做？去问他们！就像我们在大语言模型中在强化学习之前进行监督训练一样，我们需要指导和引导来培养自己的「研究品味」。

在我博士早期，我有幸在谷歌与Yi Tay和Mostafa Dehghani合作，这段经历显著塑造了我的职业轨迹。我经历的文化冲击令人深省。受此启发，我主动寻求机会与其他杰出研究者合作，如Jim Fan (范麟熙)、朱玉可、Scott Reed、符尧等。

要真正理解他们的研究品味，我们需要在两个关键方面达成一致：

有趣的是，具有良好研究品味的人并不总能清楚回答这些问题，尤其是第二个问题。这就是为什么我认为与这些人密切合作能让我们深入了解他们的日常习惯、决策过程和解决问题的方法，尽管你也可以通过电子邮件等方式询问他们。

人们攻读博士通常有两个主要原因，即享受科研乐趣和找到好工作。对于工作面试，有一个「还可以」的发表记录通常足以让你通过初选。

然而，在面试过程中真正重要的远不止论文清单和简历。通常会有研究演讲和几次一对一的研究面试（除了基础知识和代码）。虽然听众规模不同，但核心目标始终相同：做出引人入胜且连贯的演讲。

要在这些场合表现出色，要专注于创建一个扎实的整体演讲，并定期（如每5分钟）加入富有见地的观察，以保持听众的兴趣。

我通常会果断筛选掉arXiv上99%的论文，只关注有影响力的工作、知名作者和声誉良好的机构。

（我理解这种方法有其偏见——一些有价值的工作可能因各种原因被低估。但事实是，这种方法通常很高效。我认为最好的工作最终都会通过引用、讨论或他人推荐出现在我们面前。）

虽然你可能偶尔会错过一些被埋没的好论文，但更重要的是不要被杂乱的论文淹没。花太多时间在这些工作上可能会将你的研究品味拉向局部最小值，特别是当你刚进入这个领域缺乏甄别能力时，这可能需要相当长的时间和努力来纠正。

例如，你可以按照这个顺序来阅读和学习MoE-LLMs。这样，你可以更容易地识别和总结趋势，创建连接不同工作的「思维链」，比如Expert-Choice MoE解决了baseline MoEs中的什么问题。这个过程不仅加深了你的理解和推理能力，还能让你超越领域的当前状态进行推广。

有了这个更广阔的视角，你可能会发现有价值的未来研究方向。此外，人们自然倾向于更好地记住最近的信息。作为研究者，跟上最新发展至关重要，所以这种方法与我们处理和保留信息的方式很相符。

我的写作仍有很大提升空间。不过，我发现换位思考在以下两种情况下特别有帮助：

写作时设身处地为读者着想。读者来自不同背景，而且时间有限。考虑到这些因素来撰写文稿很重要。关键是要让你的写作易于目标受众理解。保持简洁，既不要太长，也不要太浅或太深，专注于你想传达的最重要观点。考虑在读者的限制条件下，什么内容最有影响力。
阅读时想象作者写作时的所思所想。学术论文和演讲信息密度很高。作者通常花费大量时间精炼它们，但背后的原始数据或想法往往杂乱无章。在阅读他人的作品时，不要被动接收，要思考你会如何处理原始材料。如果你能接触到初始数据，你会讲述什么样的故事？你会画什么图来阐明观点？与你自己平时的写作方法相比，作者的思路的哪些部分更值得借鉴？这个练习让你有频繁的机会练习写作和演讲，而不是等花几个月完成整个项目后才有机会来练习。