雷锋网 AI 科技评论按:在深度神经网络大行其道的现在,虽然大家总说要改善深度学习的可解释性、任务专一性等问题,但是大多数研究论文在这些方面的努力仍然只像是隔靴搔痒。而且,越是新的、具有良好表现的模型,我们在为模型表现感到开心的同时,对模型数学原理、对学习到的表征的理解也越来越进入到了放弃治疗的心态;毕竟,深度学习具有超出经典 AI 的学习能力,正是因为能够学习到新的、人类目前还无法理解的表征。
近期 DeepMind 的一篇论文《An Explicitly Relational Neural Network Architecture》(一种显式的关系性神经网络架构,arxiv.org/abs/1905.10307)似乎在这面高墙上打开了一个口子。他们想办法把深度学习和符号化的表征连接起来,而且着重在意表征的多任务通用和重复使用能力,而且取得了有趣的初步成果。雷锋网(公众号:雷锋网) AI 科技评论把这篇论文的内容简单介绍如下。
重新思考我们需要什么样的表征
当人类遇到没有见过的新问题时,他们能回忆过往的经验,从那些乍一看没什么关系,但在更抽象、更结构化的层次上有不少相似度的事情中获得灵感。对于终生学习、持续学习来说,这种能力是非常重要的,而且也给人类带来了很高的数据效率、迁移学习的能力、泛化到不同数据分布的能力等等,这些也都是当前的机器学习无法比拟的。我们似乎可以认定,决定了所有这些能力的最根本因素都是同一个,那就是决策系统学习构建多种任务通用的、可重