34、深度强化学习：核心概念与前沿探索

深度强化学习：核心概念与前沿探索

1. 图神经网络与相关基础概念

1.1 图神经网络简介

图神经网络是用于处理图结构数据的机器学习模型。图是由一组对象（节点）和对象之间的关系（边）组成的数据结构。例如，社交网络就是一种自然的图类型，其中节点代表个人，节点之间的边代表友谊关系。

1.2 邻接矩阵

邻接矩阵是一个维度为 $A:N × N$ 的矩阵，其中 $N$ 是图中节点的数量，它编码了每对节点之间的连接性。

1.3 消息传递算法

消息传递是一种通过迭代聚合节点邻居信息来计算节点特征更新的算法。

1.4 归纳偏置

归纳偏置是我们对一组数据的先验信息，用于约束模型学习特定类型的模式。例如，在某些情况下会采用关系归纳偏置。

1.5 不变性和等变性

• 当函数 $f$ 满足 $f(g(x)) = f(x)$ 时，我们称函数 $f$ 对变换 $g$ 具有不变性。
• 当函数 $f$ 满足 $f(g(x)) = g(f(x))$ 时，我们称函数 $f$ 对变换 $g$ 具有等变性。

1.6 注意力模型

注意力模型旨在通过迫使模型只“关注”输入数据的一个子集来提高机器学习模型的可解释性和性能。通过检查模型学习关注的内容，我们可以更好地了解它是如何做出决策的。

1.7 自注意力模型

自注意力模型建模输入中对象（或节点）之间的注意力，而不仅仅是模型关注输入的不同部分。这自然会导致一种图神经网络形式，因为注意力权重