AMiner会议论文推荐第三十三期

AMiner平台由清华大学计算机系研发，拥有我国完全自主知识产权。平台包含了超过2.3亿学术论文/专利和1.36亿学者的科技图谱，提供学者评价、专家发现、智能指派、学术地图等科技情报专业化服务。系统2006年上线，吸引了全球220个国家/地区1000多万独立IP访问，数据下载量230万次，年度访问量超过1100万，成为学术搜索和社会网络挖掘研究的重要数据和实验平台。

IJCAI 2020 论文推荐

Overcoming Language Priors with Self-supervised Learning for Visual Question Answering

论文链接：https://www.aminer.cn/pub/5ef96b048806af6ef277204a/?conf=ijcai2020

推荐理由：由固有的数据偏差, 大多数视觉问题回答（Visual Question Answering , VQA）模型都受到语言先验问题的困扰。具体来说，VQA模型倾向于根据高频答案（例如，黄色）来回答问题（例如，香蕉是什么颜色的），而忽略图像内容。现有方法通过创建精巧的模型或引入额外的视觉注释来解决这类问题依赖性，同时加强图像依赖性。然而，因为数据偏差没有得到缓解，它们仍然受到语言先验问题的影响。本文引入了一个自监督学习框架来解决上述问题。具体来说，作者首先通过自动生成标签数据来平衡有偏差的数据，并提出一个自监督辅助任务，利用平衡数据来辅助基础VQA模型克服语言先验。该方法能够在不引入外部标注的情况下，通过生成平衡数据来补偿数据偏差。




Independent Skill Transfer for Deep Reinforcement Learning

论文链接：https://www.aminer.cn/pub/5ef96b048806af6ef2772129/?conf=ijcai2020

推荐理由：最近，许多研究利用熵作为内在报酬的方式去学习多样化的原始技能（primitive skills），从而表明通过组合各种原始技能可以产生新的实用技能（practical skills）。在本文中，作者提出了一种新型的高效技能转移方法，该方法学习独立技能，只转移技能的独立组成部分，而非整套技能。具体来说，技能的独立成分是通过独立成分分析（independent component analysis ，ICA）获得的，相比混合技能具有较小的量（或较低的维度）。由于维度较低，独立技能转移（independent skill transfer，IST）在学习给定任务上表现出更高的效率。

AAAI 2021 论文推荐

Collaborative Group Learning

论文链接：https://www.aminer.cn/pub/5f63364b91e011242e3f2c14/?conf=aaai2021

推荐理由：协作学习（Collaborative learning）已成功地将知识转移应用于引导一个小型学生网络池走向稳健的局部最小值的情景之中。然而，以往的方法通常难以应对学生同质化加剧以及学生数量上升时计算复杂度快速增长的问题。在本文中，作者提出了协同小组学习（Collaborative Group Learning），这是一个高效的框架，旨在于不牺牲泛化性能和计算效率的情况下最大化学生数量。在该框架中，每个学生都是在模块化神经网络上通过随机路由建立的，这样做不仅参数高效，而且有于学生之间灵活的知识交流。同时，为抵制同质化并进一步降低计算成本，该框架中学生首先通过利用训练数据子集的归纳偏差以组成多样化的特征集，再在每个时间步骤中随机选择一个学生子组，汇总并提炼补充知识。在图像和文本任务上的实证评估表明，该方法显著优于各种最先进的协作方法。




Unsupervised Summarization for Chat Logs with Topic-Oriented Ranking and Context-Aware Auto-Encoders

论文链接: https://www.aminer.cn/pub/5fd8a6d691e0119b22c1f305/?conf=aaai2021
推荐理由：自动聊天总结（Automatic chat summarization）能够帮助人们从众多聊天信息中快速掌握重要信息。与传统的文档不同的是聊天记录通常具有零散且不断变化的主题。此外，这些日志中还包含大量的省略句和疑问句，使得聊天摘要高度依赖于上下文。作者在这项工作中提出了一个名为RankAE的新型无监督框架，以在不采用人工标注数据的情况下进行聊天总结。RankAE包括一个能够根据中心性和多样性同时选择话题语句的排名策略，以及一个能够根据所选语句生成简洁但具有上下文信息摘要的去噪自动编码器。为了评估该方法，作者从一个客户服务环境中收集了一个大规模的聊天记录数据集，并建立了一个仅用于模型评估的注释集。实验结果表明，RankAE的性能明显优于其他无监督方法，能够生成高质量的摘要。

ICLR 2021 论文推荐

Parrot: Data-Driven Behavioral Priors for Reinforcement Learning

论文链接: https://www.aminer.cn/pub/5fb7a07091e01122f29d6a4d/?conf=iclr2021

推荐理由：该论文入选ICLR oral。强化学习（Reinforcement learning，RL）为灵活决策和控制提供了一个通用框架，但代理需要学习的每个新任务都需要进行大量的数据收集工作。在其他机器学习领域（例如，自然语言处理或计算机视觉领域），研究者们通常在之前收集的大型数据集上进行预训练，以引导学习新任务。那么，如何能够为RL代理实现类似的预训练？对此，作者提出了一种用于预训练的行为先验方法，它能够从广泛的历史任务中捕获成功试验中观察到的复杂的输入-输出关系。在本文中，作者展示了如何将这类习得先验知识用于快速学习新任务之中，而不妨碍RL代理尝试新行为的能力。同时，实验证明了该方法在涉及图像观测和稀疏奖励函数的机器人操作领域中的有效性。





An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale

论文链接: https://www.aminer.cn/pub/5f92ba1691e011edb3573ba0/?conf=iclr2021

推荐理由：本文是google公司的作品。虽然Transformer架构已经成为自然语言处理任务的事实标准，但其在计算机视觉中的应用仍然有限。在视觉任务中，注意力或与卷积神经网络一起应用，或用于替换卷积神经网络的某些组件，同时保持其整体结构不变。作者表明，上述应用中对CNN的依赖是不必要的，纯变换器（pure transformer）直接应用于图像补丁序列也能够在图像分类任务中表现良好。该研究在大量数据上进行预训练并转移到多个中型或小型图像识别基准（ImageNet、CIFAR-100、VTAB等）上，发现视觉变换器（Vision Transformer，ViT）较最先进的卷积网络达到了更好的效果，同时训练所需的计算资源大大减少。

订阅了解更多论文信息，定制您的个人科研动态信息流：https://www.aminer.cn/user/notification?f=mt