AMiner会议论文推荐第四十期

AMiner平台由清华大学计算机系研发，拥有我国完全自主知识产权。平台包含了超过2.3亿学术论文/专利和1.36亿学者的科技图谱，提供学者评价、专家发现、智能指派、学术地图等科技情报专业化服务。系统2006年上线，吸引了全球220个国家/地区1000多万独立IP访问，数据下载量230万次，年度访问量超过1100万，成为学术搜索和社会网络挖掘研究的重要数据和实验平台。

ICLR 2021 论文推荐

Understanding the role of importance weighting for deep learning

论文链接：https://www.aminer.cn/pub/600832869e795ed227f53116/?conf=iclr2021

推荐理由： Byrd & Lipton（2019）的论文基于实证观察，提出了一个关于重要性加权对超参数化深度学习模型影响的重要问题。他们观察到，只要模型能够分离训练数据，重要性加权的影响就会随着训练的进行而减弱。在本文中，作者针对梯度下降和基于边际的学习理论的隐性偏差，对重要性加权的作用进行了形式化的表征和理论论证。同时，他们揭示了深度学习模型下的优化动态和泛化性能。该工作解释了在深度学习中观察到的重要性加权的各类新现象，还将权重作为模型的一部分进行优化，因此适用于一些正在积极研究的课题。

Unsupervised Object Keypoint Learning using Local Spatial Predictability

论文链接：https://www.aminer.cn/pub/5fbf937891e011a96823f226/?conf=iclr2021

推荐理由： 作者提出PermaKey，这是一种基于对象关键点的新型表示学习方法。它利用局部图像区域的可预测性，从空间邻域中识别出对应于对象部分的突出区域，然后将其转换为关键点。这保证了它不会过分偏重关键点，而将重点放在非物体特有的特征上，如运动、形状、颜色等。该工作展示了PermaKey在Atari上的表现，它能够学习对应于最突出的物体部分的关键点，并且对某些视觉干扰因素具有健壮性。此外，在Atari领域的下游RL任务中，作者证明了配备其关键点的代理是如何优于那些使用竞争替代品的代理的。

Emergent Symbols through Binding in External Memory

论文链接：https://www.aminer.cn/pub/5feeec2091e0113b2659fdbe/?conf=iclr2021

推荐理由： 人类智能的一个关键方面是直接从高维感官数据中推断抽象规则的能力，而且只在有限的训练经验下进行推断。深度神经网络算法已经被证明是直接从高维数据中学习的强大工具，但目前缺乏这种数据高效归纳抽象规则的能力，导致一些人认为需要符号处理机制来解释这种能力。在这项工作中，作者引入Emergent Symbol Binding Network (ESBN)，一个增强了外部存储器的循环网络，它可以实现一种形式的变量绑定。这种绑定机制允许类似符号的表征在学习过程中出现，而不需要明确地加入符号处理机制，使得ESBN能够以一种脱离这些规则所适用的特定实体的方式学习规则。在一系列的任务中，作者表明，这种架构在仅给定有限数量的训练实例的情况下，就能将学习到的规则近乎完美地泛化到新的实体上，并优于其他一些有竞争力的神经网络架构。

AMiner，一个具有认知智能的学术搜索引擎：https://www.aminer.cn/

#AMiner# #论文#