因果表征学习引领AI未来发展方向

神经信息处理系统会议：因果表征学习为何可能成为AI的未来

在2021年神经信息处理系统会议（NeurIPS）前夕，某中心副总裁兼杰出科学家Bernhard Schölkopf（根据Google Scholar统计，他是因果推理领域被引用次数最多的研究者）指出，人工智能研究的下一前沿将是因果表征学习。现有因果推理方法使用机器学习发现变量间的因果关系（例如网站中各种相互关联服务的延迟），而因果表征学习则学习变量本身。"这类因果表征也将推动推理能力的发展，如果我们想要摆脱纯粹的智能模式识别观点，这最终将是必需的，"Schölkopf表示。

分布外泛化研究

某机构高级应用科学家Francesco Locatello领导着该机构在因果表征学习方面的研究，他是今年NeurIPS上四篇论文的合著者。《迁移学习中的分布外泛化评估》涉及因果推理在机器学习中最引人注目的应用之一：将使用特定概率分布数据训练的模型泛化到具有不同分布的真实世界数据。

"进行标准机器学习时，是从某个概率分布中抽取独立样本，然后训练一个能够泛化到相同分布的模型，"Locatello解释道。“这是使用单一概率分布描述物理系统。因果模型不同，它们模拟物理系统因干预可能呈现的每个可能状态。因此不是只有一个概率分布，而是拥有一组分布。”

“测试数据来自不同分布意味着什么？底层物理系统相同；因果结构相同。只是遇到了未见的新干预。测试分布与训练分布不同，但现在这不是任意分布。它是良定义的，因为由因果结构所蕴含，并且是现实世界中可能出现的意义明确的分布。”

在《迁移学习中的分布外泛化评估》中，"我们所做的是收集大量为此场景构建或适配的数据集，其中拥有非常狭窄的数据集可用于迁移学习，然后有各种分布外的测试数据。我们考察文献中研究的不同方法，并在公平基础上进行比较。"尽管论文中调查的方法都没有明确考虑因果关系，但Locatello表示：“因果方法最终应该能够在此基准上表现更好，这将使我们能够评估进展。这就是我们构建它的原因。”

神经注意电路架构

当今神经网络理所当然地进行表征学习：它们的输入通常是原始数据，在训练期间学习数据的哪些方面对当前任务最有用。正如Schölkopf在去年对话中指出的，因果表征学习只是让因果机器学习模型与传统模型保持同步。

"需要认识到的重要点是，大多数机器学习应用并非以一组明确定义的随机变量形式出现，这些变量与物理系统的底层功能完全一致，"Locatello解释道。“我们仍然希望用抽象变量建模这些系统，但没有人提供这些变量。因此可能希望学习它们以便能够执行因果推理。”

Locatello表示，在他和同事的NeurIPS论文中，最接近因果表征学习主题的是《神经注意电路》。因果模型通常使用图表示因果关系，神经网络也可以被视为一个巨大的图。Locatello及其合作者试图通过训练神经网络模仿因果网络的结构来使这种类比显式化。

"这是我们去年在NeurIPS上一篇论文的后续工作，"Locatello说。“灵感是设计行为更类似于因果模型的架构，其中拥有噪声变量——即数据——然后有被函数操纵的变量，它们简单地在图中相互通信。这个图可以动态变化，例如由于干预导致分布变化时。”

“在第一篇论文中，我们开发了行为完全如此的架构：拥有一组可以根据数据和问题动态组合的神经函数。函数、路由和函数的拼接都是学习得到的。一切都是学习得到的。但动态拼接的可扩展性不太高。”

“在这项新工作中，我们基本上编译了函数的拼接，以便为每个样本预先决定——它将通过网络何处，函数将如何组合。不是逐层动态进行，而是为整个前向传播决定。我们证明了这些稀疏学习到的连接模式改善了分布外泛化。”

成功案例与未来展望

Locatello的其他NeurIPS论文涉及更传统的机器学习主题。《自监督非模态视频对象分割》考虑重建被遮挡对象轮廓的问题，这对机器人应用（包括自动驾驶汽车）至关重要。

"我们利用可以在视频中随时间构建对象信息的原则，"Locatello解释道。“可能在过去的帧中看到过现在被遮挡的对象部分。如果能够记住以前见过这个对象，并且这是它的分割掩码，就可以随时间构建分割。”

最后一篇论文《两个头是否等同于一个？识别公平神经网络中的不同处理》考虑训练目标明确设计为最小化不同类型输入偏见的模型。Locatello及其同事发现，此类模型经常纯粹通过训练而无需任何人工干预就发展出两个"头"：即它们学习神经网络中的两个不同路径，一个用于敏感类输入，一个用于所有其他输入。

研究人员认为，既然网络无论如何都在学习两个头，不如设计双头架构：这将在满足相同公平标准的同时提高性能。但这种方法尚未被采用，因为它违反禁止不同群体不同处理的规则。然而在这种情况下，不同处理可能是确保公平对待的最佳方式。

后两篇论文仅与因果关系间接相关。但Locatello表示：“因果表征学习是一个非常年轻的领域。因此我们正在尝试识别成功案例，我认为这些论文正朝着这个方向前进。”

"很明显，因果关系将在未来机器学习中发挥作用，"他补充道，“因为机器学习中存在许多开放问题，当开始研究因果模型时，至少可以部分解决。我的目标真正是在主流机器学习应用中实现因果模型的好处。这就是为什么其中一些工作不一定关于因果关系，而是更接近机器学习。因为最终，这是我们的目标。”
更多精彩内容 请关注我的个人公众号 公众号（办公AI智能小助手）或者 我的个人博客 https://blog.qife122.com/
公众号二维码