学习笔记：类人归纳偏置在因果推理与分布外泛化的应用

学习笔记：类人归纳偏置在因果推理与分布外泛化的应用（Human-Inspired Inductive Biases for Causal Reasoning and Out-of-Distribution Generalization）

在2021年4月举行的NVIDIA线上GTC大会上，约书亚*本希奥(Yoshua Bengio)对他最近的论文"高阶认知深度学习中的归纳偏置"(arxiv: 2011.15091)做了一个讲解。我们现将部分要点整理如下。

今天的机器学习模型中存在一个假设：未来的观察数据与训练模型所用的数据出自同一个分布，且样本之间遵循独立相同分布（Independently Identically Distributed, i.i.d.）的限制。真实世界中，新的观察数据往往来自不同的分布，这些差异的来源可能是一些变量本质上不同，或是同一个变量的分布不具有时间静止性（temporal non-stationarity）。这时，便没有理由期望模型在不经过调整的情况下获得良好的表现。而我们通常认为智慧的一个标志，就是对分布外数据的泛化能力。人类和其它高等生物的大脑，似乎对适应新的情形有着与生俱来的天分。用算法捕捉这种天分，是从业人员梦寐以求的目标。从贝叶斯的视角来看，一个人的历史体验能够有效地为当下的判断提供先验知识。尽管这样做出的判断不能保证百分之百的正确，它是在信息不完备条件下最佳的预测，长远来说往往也代表着最优的生存策略。这种先验知识实际上也是一种偏置(bias)，而它的不确定性给了它归纳(induction)的名字，所以说此类研究的目标是通过观察人类大脑的工作方式，试图从中获取灵感，以设计出具备相似的归纳偏置的机器学习方法。