WWW2020《Adversarial Attacks on Graph Neural Networks via Node Injections：分层增强学习方法》（NIPA）论文详解

论文链接：https://faculty.ist.psu.edu/vhonavar/Papers/www20.pdf

poisoning attack

1 Abstract and Introduction

本文考虑了一种针对图数据的节点注入中毒攻击（poisoning attack）的形式。对节点注入攻击的关键步骤进行建模，例如，通过马尔可夫决策过程（MDP）在注入的对抗节点和其他节点之间建立链接、选择注入节点的标签等。本文提出了一种针对节点注入中毒攻击（Node Injection Poisoning Attacks，NIPA）的增强学习方法，可以在不改变现有节点之间连接的情况下，顺序修改被注射节点的标签和链接。具体来说，引入一个分层的 Q-learning 网络来操作图中敌对节点的标签及其与其他节点的联系，并设计一个适当的奖励函数来引导强化学习 agent，以降低GNN的节点分类性能。

本文研究基于节点注入的中毒攻击问题。面临两个挑战：（ii）如何在注入的对抗(伪)节点与原始图中的现有节点或其他注入的对抗节点之间建立数学模型并有效建立联系。（ii）如何有效地解决图的离散和高度非线性的优化问题。采用 Q-learning 也自然地解决了离散优化的挑战，因为现在我们协调离散边缘添加过程作为强化学习框架的行动。为了减少搜索空间，NIPA 采用分级 Q-learning 网络对动作进行分解。为了应对图的高度非线性，NIPA 由深度 Q network 和基于 GNN 的状态表示方法组成。 这些组件可以学习图的语义结构并将离散图结构转换为潜在表示。

contributions：

一种新的图节点注入攻击方法。NIPA成功地解决了由此产生的强化学习问题所带来的几个重大挑战。在真实世界数据集的无目标攻击具有较好的效果（比当时之前的 SOTA 要好）。

2 Related Work

本文的研究属于对机器学习的数据中毒攻击的一般领域，其目的是破坏数据，从而对基于数据训练的预测模型的性能产生不利影响。很少有人关注如何毒害图结构数据。本文的重点是对这类基于图结构数据训练的分类器的攻击。

2.1 Adversarial Attack on GNN

2.2 Reinforcement Learning in Graph

与本文最相似的工作是 RL-S2V，它通过操纵已有节点之间的链接，采用增强学习的方法对图进行有目标规避攻击（targeted evasion attack）。RL-S2V 与本文所提出方法的不同之处在于：（1）攻击场景不同，本文是无目标中毒攻击，RL-S2V 是有目标规避攻击。（2）增强学习的 agent 有不同的任务：RL-S2V 学习通过修改原图内在结构来攻击图中特定的节点，本文提出的 agent 生成对抗连接，并为注入的伪节点设计标签。（3）本文设计了不同的奖励函数来驱动 agent。本文探讨了增强学习模型在新型无目标中毒攻击场景中的应用。

3 Node Injection Poisoning Attacks on Graph Data

3.1 Problem Definition

Definition 3.1（Semi-Supervised Node Classification）

属性图，节点集，边集，节点特征。有标签节点集，无标签节点集，有标签节点集和无标签节点集组成所有节点。半监督节点分类任务旨在用图分类器正确标注中的无标签节点。

在半监督节点分类任务中， 学习映射 的图分类器旨在通过聚合结构和特征信息正确地将标签分配到节点。分类器由 θ 参数化，表示为。为简便起见，使用作为对预测的分类器，作为的真实标签。在训练过程中，目标是学习最优分类器，对应的参数定义如下：

是如交叉熵的损失函数。对分类器的攻击主要有两种攻击设置：中毒/训练时攻击和逃避/测试时攻击。在中毒攻击中，分类器使用毒化的图进行训练；在逃避攻击中，在干净图上进行训练后，测试样本中包含敌对样例。本文关注无目标图中毒攻击问题，攻击者在训练时间之前对图进行毒化，以降低图分类器对未标记节点集的性能。

Definition 3.2（Graph non-Targeted Poisoning Attack）

给定属性图，有标签节点集、无标签节点集和图分类器