深度学习最值得关注的十篇论文

选自Ahead of AI

作者：Sebastian Raschka

机器之心编译

编辑：王强、蛋酱

年关将至，威斯康星大学助理教授 Sebastian Raschka 盘点了 2022 年他最看好的十大论文。

2022 年 1 月，扩散模型第一次吸引了我的眼球。当时我判断到将会有某些大事发生，然而却未曾预料到几个月后会出现什么：DALLE-2、Imagen、Stable Diffusion 以及其它许多模型。

对于大型语言模型来说，2022 也是非常重要的一年，最近面世的 ChatGPT 更是锦上添花，抢尽了风头。

在回顾今年发表的十篇值得关注的论文前，我们可以先看看 12 月的 AI 要闻以及麦肯锡的一份人工智能全景报告和行业调查综述。

昨天，今天，明天

简单来说，有两篇论文引起了我的注意。

第一篇：视觉 Transformer（ViT）学习什么？

论文链接：https://arxiv.org/pdf/2212.06727.pdf

关于视觉的探索显示，ViT 学习的归纳偏置或特征与卷积神经网络（CNN）学习的那些相似。例如，ViT 的 early layers 捕捉边缘和纹理，而 later layers 学习更复杂的表征以捕捉更广泛的概念。

视觉 Transformer 从 early layers（左）到 deeper layers（右）的可视化特征过程。

关于生成建模，ViT 倾向于生成比 CNN 更高质量的背景，这就提出了 ViT 如何处理预测任务中的背景和前景的这一问题。当背景被消除时，ViT 似乎比 CNN 更善于预测目标类别，并且在前景被消除时它们也依然表现得更好。这表明，ViT 在依赖基于其存在的某些特征时可能更具选择性，或者说，总体更为鲁棒。

第二篇：一种生成蛋白质的扩散模型

论文链接：https://www.biorxiv.org/content/10.1101/2022.12.09.519842v1

在图像生成领域，扩散模型已经带来了突破性的性能，那么生成蛋白质结构呢？研究人员开发了一种新的蛋白质合成扩散模型，称为 RoseTTAFold Diffusion（RFDiffusion），这种蛋白质是从零开始创造的，而非来自于自然界中早已存在的蛋白质。

区分 de novo 蛋白质（在实验室中使用没有进化历史的氨基酸序列合成）与诸如 AlphaFold、 AlphaFold2 等系统（使用现有氨基酸序列数据预测蛋白质 3D 结构）十分重要。但值得注意的是，AlphaFold2 曾被用于验证 RDiffusion 研究的结果。

然后再谈谈最近的行业趋势。今天，在产业中实际使用的技术是什么？根据麦肯锡最近的 AI 全景报告 —— 并不是大型语言模型（Transformer）