[论文解读]OpenWGL: Open-World Graph Learning

原文链接：OpenWGL: Open-World Graph Learning | IEEE Conference Publication | IEEE Xplore 

摘要

在传统的图学习任务（如节点分类）中，学习是在一个封闭的环境中进行的，其中提供了类的数量及其训练样本来帮助训练模型，学习目标是将未标记的节点正确地分类到已知的类中。事实上，由于网络的标记能力有限和动态演化，网络中的一些节点可能不属于任何现有/可见类，因此无法通过封闭世界学习算法进行正确分类。本文提出了一种新的开放世界图学习范式，其学习目标不仅是将属于可见类的节点分类为正确的组，而且将不属于现有类的节点分类为不可见类。开放世界图学习的基本挑战是：（1）看不见的类没有带标签的样本，并且可能以不同于现有可见类的任意形式存在；（2）图特征学习和预测都应该区分节点可能属于现有/可见类还是不可见类。为了应对这些挑战，提出了一种不确定节点表示学习方法，使用约束变分图自动编码网络，其中标签损失和类不确定性损失约束用于确保节点表示学习对看不见的类敏感。因此，节点嵌入特征由分布表示，而不是确定性特征向量。通过使用采样过程生成多个版本的特征向量，能够测试属于可见类的节点的确定性，并自动确定一个阈值，将不属于可见类的节点拒绝为不可见类节点。在真实网络上的实验证明了该算法的性能，并与基线进行了比较。

1. INTRODUCTION

为了开发适用于不同类型节点分类任务的可靠高效的算法，人们进行了大量的研究工作。然而，现有的方法主要在“封闭世界”环境中进行学习，其中测试数据中的节点必须属于训练过程中已经见过的一个或多个类。因此，当测试集中出现新的/没见过的类别节点时，分类器无法检测到新的/没见过的类，并错误地将节点分类为训练数据中的可见/学习到的类。

事实上，新类不断出现，一个无法检测到这些新的/没有见过的类的模型很难在动态环境中正常工作。这个问题被称为开放世界分类或开集分类问题。新的“开放世界”学习（OWL）范式不仅可以识别属于以前已经见过/学习过的类的对象，还可以检测以前没有见过的新类样本。

有几种方法，如one-class SVM，可以通过将所有可见类视为正类来调整以解决开放世界学习问题，但它们无法区分可见类中的实例，并且通常在查找不可见类时表现不佳，因为没有使用负数据。迄今为止，开放世界学习在自然语言处理（NLP）和计算机视觉领域有了广泛的研究。在NLP领域，Shu等人提出了开放世界学习的解决方案，通过在sigmoid函数之前设置阈值来拒绝看不见的类。在计算机视觉中，Scheirer等人研究了通过减少具有正区域的二值SVM分类器的半空间来识别不在训练数据中的未见过图像的问题。

给定一个由可见类和不可见类节点组成的图，开放世界图学习的目标是构建一个分类器，将属于可见类的节点分类为正确的类别，并将不属于任何可见类的节点检测为不可见类。图1显示出了用于图节点分类的开放世界学习的示例。

目前，现有的开放世界学习解决方案主要集中在文档或图像上，无法直接应用于图结构数据和图学习任务，因为它们无法对节点分类的核心图结构信息进行建模。

图学习的挑战在于，图具有节点内容和结构信息。此外，现有的节点分类任务解决方案都是基于封闭世界假设，即测试数据中出现的类必须在训练中出现。例如，图卷积网络（GCN）的基本思想是开发一个卷积层来利用图的结构信息，并使用分类损失函数来指导分类任务。然而，它们直接使用softmax作为最终输出层，因为每个类的预测概率在所有训练/看到的类中都是标准化的，所以它对看不见的类节点没有拒绝能力。此外，在表示学习方面，现有的大多数图学习方法都采用特征工程或深度学习来提取特征向量。然而，这些模型只能生成确定性映射来捕获节点的潜在特征。它们的一个主要限制是无法表示由不完整或有限的可用数据引起的不确定性。 

在本文中，提出了研究图数据的开放世界学习。考虑到复杂的图数据结构和节点分类任务，总结了以下主要挑战：

• 挑战1：如何在图中设计一个端到端的开放世界图学习框架，其中看不见的类没有带标签的样本，并且可能以不同于看到的类的任意形式存在。现有的图神经网络（GNN）是基于封闭世界假设构建的典型网络，无法检测出看不见的类。
• 挑战2：如何对节点表示的不确定性进行建模，并提高图形的稳健性。许多现有的基于GNN的方法只生成确定性映射来捕获节点的潜在特征。

为了克服上述挑战，本文提出了一种新的用于节点分类任务的开放世界图学习范式（OpenWGL）。对于挑战1，采用了两个损失约束（标签损失和类不确定性损失），以确保节点表示学习对不可见类敏感，并帮助模型区分节点是属于现有/可见类还是不可见类。图2中的实验可视化了一个测试数据集，可以说明本文的方法的有效性。在图2（a）中，仅使用标签损失（交叉熵损失），它在现有/可见类节点上具有良好的性能，但看不见的类节点无法区分，将随机分类为可见类。在图2（b）中，引入了一个类不确定性损失约束，它可以降低不可见类节点被分类为可见类的概率，因此有助于检测不可见类节点，而不会影响可见类节点的分类。对于挑战2，本文不学习确定性节点特征向量，而是利用图变分自动编码器模块学习潜在分布来表示每个节点。在分类阶段，使用一种新的采样过程来生成多个版本的特征向量，以测试属于可见类的节点的确定性，并自动确定阈值，拒绝不属于可见类的节点。

本文的贡献可以总结如下：

• 为图结构数据制定了一个新的开放世界学习问题，并提出了一个新的深度学习模型OpenWGL作为解决方案；
• 提出了一种不确定节点表示学习方法，通过使用标签损失和类不确定损失来约束变分图自动编码器学习对不可见类敏感的节点表示
• 提出使用抽样过程来测试属于可见类的节点的确定性，并自动确定一个阈值，将不属于可见类的节点拒绝为不可见类节点
• 在基准图数据集上的实验表明，本文的方法优于基线方法。

2. RELATED WORK

2.1 Open-World Learning

开放世界学习旨在识别学习以前见过的类别，并发现从未见过的新类别。有一些开放世界学习的早期探索：Scholkopf等人采用one-class SVM作为分类器，由于没有使用负样本，因此表现出较差的性能。Fei和Liu提出了一种基于中心的相似度（CBS）空间学习方法，该方法首先为每个类计算一个中心，并将每个文档转换为中心的相似度向量。Fei等人然后通过增加增量或累积学习新类的能力来扩展他们的工作。

最近，开放世界学习在自然语言处理和计算机视觉（称为开放集识别）中得到了研究。在NLP中，Shu等人提出了开放世界学习的深度学习解决方案，通过在sigmoid函数之前设置阈值来拒绝看不见的类。Xu等人提出了一种新的基于元学习的开放世界学习模型，该模型允许添加或删除新的类别，而无需重新训练模型。在计算机视觉中，Scheirer等人研究了通过减少具有正区域的二值SVM分类器的半空间来识别不在训练数据中的未见过图像的问题。在[7]和[8]中，Scheirer等人利用概率阈值来检测新类，而他们的模型由于缺乏先验知识而很弱。

2.2 Emerging Class and Outlier Detection

本文的研究还涉及监督学习中的新类检测，如流数据挖掘和多实例学习，以及离群点检测。
在监督学习中，假设实例至少属于预定义类中的一个，并且训练分类器来学习以将样本分类到已知类中。当一个类在训练分类器时未知或不可用时，在测试阶段，理想的分类器预计能够检测到新出现的类。检测新类别样本的常见解决方案是使用决策阈值来给出置信度得分，包括多层神经网络来增加阈值，并且置信度低于阈值的样本被识别为新类别。不幸的是，仅仅增加阈值就会使现有的类样本被错误分类。
另一方面，异常值检测旨在检测异常偏离基础数据的数据实例。提出了一些基于距离的孤立点检测方法，如单类支持向量机，其中通过找到一个包含正常数据样本的超球体来获得正常数据域。最近的一种方法提出从数据流中检测异常值，但没有解决通过异常值检测新类的问题。

2.3 Graph Neural Networks

图神经网络（