对抗性机器学习研究者的职业转变与思考

职业更新：从某中心到某机构

经过七年的工作，决定离开某中心（Google DeepMind），并将加入某机构（Anthropic）一年，继续从事对抗性机器学习的研究。以下是对离职原因以及未来计划的简要说明。

为什么离开？

2018年完成博士学业后加入某中心（Google Brain）曾是一份理想的工作。当时，那里是进行开放式研究、解决自认为最重要问题的最佳场所。但七年过去，情况已大不相同。最重要的是，Brain合并到了DeepMind，而如今不再认为DeepMind（及其领导层）支持我所从事的高影响力安全与隐私研究。

尽管从外部看，研究成果似乎仍在顺利发表，但这只是因为不顾规则、强行推进的结果。实际上，论文获批的过程近年来变得越来越困难，最终导致感到无法有效开展自认为最重要的工作。

关于论文发表，持有两个核心信念：

1. 机器学习安全与缺陷的科学本质上应是开放的。这个领域还有很多需要学习，为了在有限时间内取得必要进展，必须相互学习、充分协作。
2. 科学论文应是交流科学成果的主要方式。论文应为科学家而写，不应带有公关发布的浮夸或法律文书的语言修饰。这意味着接受“写真相”并不总是等同于“写愿望”。

由于领导层不认同这些信念，发表过程愈发艰难。虽然已与同事深入探讨并提出了改进建议，但认为公开讨论具体内部细节并无必要。

接下来的计划？

将加入某机构（Anthropic）一年，从事安全方面的工作。之后的方向尚未确定，可能继续独立研究、进入学术界或留在某机构。目前无法做出一年以上的承诺，因为未来变化太快。

选择某机构主要基于三个原因：

1. 认为在直接训练大模型的公司工作能产生最大近期影响力。研究重点是理解大模型的安全属性，能够影响前沿模型的设计（在部署之前）是一个巨大的机遇。
2. 更擅长技术工作而非项目咨询。学术和非营利工作所需的许多技能目前还不具备。
3. 这个选择更可逆。如果情况不理想，可以随时离开，而创办非营利组织或进入学术界则需要更长期的承诺。

选择另一家研究实验室？

确实刚离开一家大公司，因为其阻碍了研究。但相信某机构的人员真正关心我所关注的安全问题，并允许我开展相关研究。与公司各级人员进行了超过20小时的交流，得到的一致回应是，大家都希望以同样的方式提升整个领域的安全性。

据观察，某机构在安全发表理念上与我一致。他们理解安全不应成为竞争优势；所有人都需要安全，但方法尚未可知，因此安全被视为研究并予以发表。当然，并非完全信任某机构——永远不要完全信任任何公司——但目前看来，他们确实关心做好事情，并拥有相应的流程。

一年后将重新评估优先级。在前沿研究实验室工作存在实际弊端，未来可能根据情况做出其他选择。

concluding thoughts

机器学习和语言建模的最新进展将带来变革。但为了在不危及所有人安全的情况下实现这一潜力，必须尽快取得巨大进展。需要如此多的进步，以至于没有任何组织能独自解决所有问题；必须共同努力、交流工作，并立即开始。

希望某中心未来能更好地接纳这一点。多年来一直努力传达这一观点，但现在到了继续前进的时候。某中心确实拥有世界上一些最有才华的人，希望他们能运用这些才能让世界变得更美好。

对于个人而言，很高兴能在某机构继续从事安全工作。期待在那里开展一系列有趣的研究项目，并准备就绪后尽快分享。
更多精彩内容 请关注我的个人公众号 公众号（办公AI智能小助手）或者 我的个人博客 https://blog.qife122.com/
公众号二维码