43、基于GAN和预训练的知识表示学习与动态系统在线状态估计方法

基于GAN和预训练的知识表示学习与动态系统在线状态估计方法

基于GAN和预训练的知识表示学习

在知识表示学习中，我们采用生成对抗网络（GAN）和预训练模型的方法，旨在提高知识图谱中链接预测和三元组分类的性能。

1. 负样本生成

   • 不断更新生成器中的参数，以确保负样本具有最高质量。对于正确的三元组 $(h, r, t)$，生成器中的得分函数定义为 $f_G(h’, r, t’)$，从 $Neg(h, r, t)$ 中采样得到的负样本三元组 $(h’, r, t’)$ 的概率如下：
     [p_G(h’, r, t’) = \frac{\exp f_G(h’, r, t’)}{\sum_{Neg(h,r,t)} \exp f_G(h’, r, t’)}]

2. 基于BERT的实体描述语义向量构建

   • 输入序列的第一个标记是特殊分类标记 [CLS] ，标记表示为一个句子，包含 Tokh1, ..., TokhN, Tokt1, ..., ToktN 。实体文本描述由 [SEP] 分隔，每个标记的描述由其自身嵌入、段嵌入和位置嵌入组成。
   • 段嵌入根据元素类型不同而不同，头部和尾部实体使用 $e_A$ 作为段嵌入，关系使用 $e_B$。
   • 我们使用 [CLS] 处的隐式输出 $C$ 来计算三元组的分类。对于三元组 $