论文解读:《AliCoCo2: Commonsense Knowledge Extraction, Representation and Application in E-commerce》

最新推荐文章于 2025-12-04 15:03:47 发布

原创最新推荐文章于 2025-12-04 15:03:47 发布 · 727 阅读

8 ·

CC 4.0 BY-SA版权

文章标签：

#人工智能

系列博客目录

文章目录

系列博客目录
1.为了充分利用图中节点文本描述的语义信息，我们采用了广泛使用的预训练语言模型BERT[5]作为文本编码器。我们通过掩码语言建模损失对BERT进行微调，以获得所有概念基于其文本短语的丰富语义表示。我们将所有概念短语列出，作为微调的输入，格式为 [ $\text{CLS}$ ] + $e^{'}$ + [ $\text{SEP}$ ]，其中 $e^{'}$ 是 $\in E$ 的文本短语。然后，我们使用来自BERT模型最后一层的 [ $\text{CLS}$ ] 标记的表示作为节点表示，并得到语言嵌入矩阵 $\in \mathbb{R}^{|E| \times M}$ ，其中 $M$ 是 BERT 嵌入的维度。我们使用 $t_i$ 来表示语言模型中节点 $e_i$ 的语义编码。什么意思
2.
3.
4.
5.
6.
7.
8.
9.
10.

1.为了充分利用图中节点文本描述的语义信息，我们采用了广泛使用的预训练语言模型BERT[5]作为文本编码器。我们通过掩码语言建模损失对BERT进行微调，以获得所有概念基于其文本短语的丰富语义表示。我们将所有概念短语列出，作为微调的输入，格式为 [ $\text{CLS}$ ] + $e^{'}$ + [ $\text{SEP}$ ]，其中 $e^{'}$ 是 $\in E$ 的文本短语。然后，我们使用来自BERT模型最后一层的 [ $\text{CLS}$ ] 标记的表示作为节点表示，并得到语言嵌入矩阵 $\in \mathbb{R}^{|E| \times M}$ ，其中 $M$ 是 BERT 嵌入的维度。我们使用 $t_i$ 来表示语言模型中节点 $e_i$ 的语义编码。什么意思

这段文字描述的是如何在图神经网络中结合语言模型（BERT）来编码图中节点的文本信息，具体过程包括以下几个步骤：

使用BERT进行文本编码
该方法利用预训练的BERT模型来提取图中每个节点的文本信息。BERT是一种强大的语言模型，能够理解文本的上下文关系。
微调BERT模型
为了使BERT更好地适应具体的任务（即为图节点生成语义表示），作者通过“掩码语言建模”（Masked Language Modeling，MLM）任务对BERT进行微调。微调的过程是通过调整模型参数，使BERT能够更好地理解与任务相关的文本数据。
概念短语的表示
在微调过程中，所有的概念短语（图中的节点表示）被作为BERT的输入。输入格式为：[ $\text{CLS}$ ] + $e^{'}$ + [ $\text{SEP}$ ]，其中：
- [ $\text{CLS}$ ] 是BERT中专门用于分类任务的标记，用来表示整个句子或段落的综合信息。
- $e^{'}$ 是每个节点 $e$ 的文本描述，即与节点相关的短语。
- [ $\text{SEP}$ ] 是分隔符，用于区分不同部分的输入。
节点表示的提取
微调后的BERT模型的最后一层输出包含每个节点的语义信息。特别地，[ $\text{CLS}$ ] 标记的输出被用作节点的表示，这个表示包含了节点相关文本的上下文信息。
生成语言嵌入矩阵
所有节点的 [ $\text{CLS}$ ] 输出被组合成一个语言嵌入矩阵 $\in \mathbb{R}^{|E| \times M}$ ，其中 $∣ E ∣$ 是图中节点的总数， $M$ 是BERT模型的嵌入维度。这个矩阵表示了所有节点的语义信息。
语义编码
对于图中的每个节点 $e_i$ ，其语义表示（即文本描述的理解）由 $t_i$ 给出，这是通过语言模型（BERT）生成的每个节点的语义编码。