本文总结了2021年AI领域的关键进展，包括图像生成的DALL·E、自动驾驶技术在特斯拉的应用、视频编辑神器VGPNN、3D模型创建技术如SHARF和GANverse3D，以及编程辅助工具GitHubCopilot。涵盖了视频处理、图像生成、3D模型生成、Transformer融合、AI驱动应用等多个热点。
杨净 发自 凹非寺
量子位 报道 | 公众号 QbitAI
自动驾驶、图像生成、2D转3D……
2021年，哪些AI论文最火？又是哪些论文最具突破性？
最近一位ÉTS研究生、YouTube博主总结了今年AI最新突破列表，视频、文章和代码一应俱全。
我们从中梳理出八大类，就跟大家一起来康康～
视频博主看过来
从中梳理最多的，当属一些利好视频博主的技术了。
比如，这个TimeLens，它可以制作慢动作视频，最大范围可从原有的30帧扩展成900帧。
再比如，这个编辑神器VGPNN——单个视频几秒内多样化生成。
像删除或添加某人、改变背景、时间拉长、改变长宽比、分辨率等功能在它面前，都是基本操作。
还有像在不影响背景或其他对象情况下，移动图像中的对象；使用AI分离真实世界中的声音，语音、音乐和音效之类……
具体在画质处理上，今年英特尔就用英伟达显卡做了画质增强补丁。今年6月，这个Demo在全网火了一把。
为了在GTA上效果更真实，研究人员改变了视频中3点特征：增加汽车的光泽、改善植被的整体外观、让沥青路面看起来更光滑。
对此，有网友表示，这比路径追踪便宜多了。
如果说肆掠的疫情让视频会议火了一把，那么视频会议软件让背景替换技术搬到了台前。
谷歌研究员就提出了一种重新光照的方法Total Relighting，来给人像做背景替换。
它能根据新添加的场景光线，重新点亮任何肖像，以此看起来更加真实。
这一方法还可进一步延伸至电影、专业视频制作中，up主可以用起来。
此外，除了背景替换，还有文字替换，风格还保留的那种。
今年，Facebook提出了一种AI模型，它可以直接翻译或编辑图像中的文本，并且遵照同样的风格。
类似这样～
DALL·E领衔的图像生成
图像生成领域，最具突破性的当属DALL·E——OpenAI在新年推出的“AI设计师”，吴恩达点赞的那种。
简单来说就是，提出你的文本需求， 它来生成图像。从原理上看，类似于GPT-3在文本合成图像方向上的扩展版。
比如输入“OpenAI公司门面”，它就能给出十几张设计图供你选择。
还有像根据手绘草图来生成图像、使用随机微分方程进行图像合成和编辑等进展。
2D图像生成3D模型
这是除图像生成外，另一个2021 AI领域热度极高的研究方向。
试想一下，如果只在现实生活中拍摄一张对象照片，就可创建3D格式将其插入视频或者游戏中，会有多酷。
谷歌研究院提出的ShaRF就可以做到，比如随意拍的一个椅子。
英伟达也提出了类似的解决方案GANverse3D，只需一张图像，就可创建可自定义的3D动画。
还有前段时间火爆外网的假3D场景，也是通过一组照片渲染出来的。
以及LASR模型——从短视频中单拎出一个对象来，创建人类或动物的3D模型……类似的方法还有很多。
万物皆可与Transformer结合
你是否想过把CNN与Transformer结合起来？
2021年，“跨界输出”在AI领域掀起潮流。
基于CNN效率和Transformer的表达能力，德国海德堡大学的研究人员提出一种高分辨率图像生成的方法——Tl;DR。
还不只是CNN和Transformer。
斯坦福和Facebook的研究人员提出GANsformers——基于StyleGAN2架构中Transformer的注意力机制，来生成场景图片。
应用层：试衣间、天气预报
除此之外，还有原有模型基础上应用层面的延伸。
就如谷歌提出了基于StyleGAN2架构的改进版，创建了一个AI在线试衣间。
只需要提供一张你的图像，就能自动试穿任何衣服。
还有像巴塞罗那大学的研究人员开发了一种基于深度学习，能从航拍图像中自动检测漂浮的垃圾，并计算数量。
为此，他们还制作了一个APP，用户可在海面图像中识别这些垃圾。
还有Apple提出应用在相册的ML算法，在iOS 15上自动识别私人照片中的人；DeepMind提出了一个使用雷达深度生成模型，来更准确的预报天气。
AI驱动的赛博朋克手臂
明尼苏达大学的研究人员打造了一款赛博朋克手臂——AI驱动的神经接口。
据介绍，截肢者可以像寻常人一样灵巧的控制手臂。
编程神器：GitHub Copilot
对于开发者而言，今年最具突破性的进展莫过于编程神器——GitHub Copilot，由GitHub与openAI联合开发。
只需描述出你想要执行的命令，就能生成相应的代码。
甚至程序员只要写下一段注释，Github Copilot就可以补全剩下的代码、提出改进的建议，为程序员省去大量查找的时间。
特斯拉的自动驾驶
值得一提的是，这次还有特斯拉的自动驾驶入选。
在特斯拉的AI day上，人工智能总监Andrej Karpathy展示了特斯拉如何通过8个摄像头来获取图像到道路导航的过程。
这当中包括压缩数据、二维转变为三维输出等操作。
……
除此之外，还有像面对第三次人工智能浪潮，研究人员对AI中快与慢思考；AI伪造类似“探探”个人档案，来探讨人类会不会向右滑动；Transformer是如何在CV领域取代CNN的？
感兴趣的旁友，可戳下方链接了解更多详情哦～
目前仍在更新当中。
GitHub链接：
https://github.com/louisfb01/best_AI_papers_2021
扫一扫
1
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
