知识推理——CNN模型总结（一）

原创

已于 2023-05-12 18:03:32 修改 · 1.7k 阅读

7 ·

CC 4.0 BY-SA版权

文章标签：

#cnn #深度学习 #人工智能 #知识图谱 #神经网络

于 2023-05-08 16:41:58 首次发布

记录一下我看过的利用CNN实现知识推理的论文。

最后修改时间：2023.05.12

1.4.1 为什么用二维卷积，而不是一维卷积？

1.6.1.去不去除inverse relations

1.6.2.模型效率

1.6.3.消融实验

1.6.4.Indegree和PageRank分析

2.4.2.ConvKB与TransE的转换推导

1.ConvE

论文：Convolutional 2D Knowledge Graph Embeddings

会议/期刊：2018 AAAI

1.1.解决的问题

（1）以往的模型都太浅了，虽然可以快速用于大型数据集，但是学到的特征表达能力比较差；

（2）另一个比较严重的问题是数据集的泄露问题“test set leakage”，也就是训练集出现过的关系三元组，取了反后，在测试集中又出现了一遍。比如，(A,妈妈,B)在训练集中出现过，(B,女儿,A)又在测试集中出现。这个问题导致一些很简单的rule-based模型也可以达到很好的效果。

1.2.优势

（1）采用多层神经网络，特征表达能力强；

（2）参数量很少，相同的实验效果，参数量比DistMult少8倍，比R-GCN少17倍；

（3）可以高效建模大型数据集常出现的入度高的节点。

1.3.贡献与创新点

（1）设计2D卷积模型，进行链接预测；

（2）设计1-N scoring步骤，提升训练和评估的速度；

（3）参数量少；

（4）随着知识图谱复杂性的提升，ConvE与一些shallow算法的差距成比例增大；

（5）分析了各数据集泄露的问题，并提出了不泄露的版本；

（6）sota。

1.4.方法

1.4.1 为什么用二维卷积，而不是一维卷积？

NLP任务中大多采用的是一维卷积，包括下面要提到的ConvKB算法，但是ConvE却创新的使用了二维卷积。因为二维卷积使得嵌入向量间的交互点变多了，模型的表达能力变强。举个栗子~

一维卷积：

两个一维嵌入分别为 $[a \quad a \quad a]$ 和 $[b \quad b \quad b]$ ，两个嵌入concat后得到向量 $[a \quad a \quad a \quad b \quad b \quad b]$ 。

一维卷积核大小为3，那么卷积的过程中，两个向量只有连接点处的值（比如 $[a \quad b \quad b]$ 或 $[a \quad a \quad b]$ ）发生了交互，并且交互程度会随着卷积核大小的增加而变深。

二维卷积：

两个二维嵌入分别为 $\begin{bmatrix} a& a & a\\ a& a& a \end{bmatrix}$ 和 $\begin{bmatrix} b & b & b\\ b & b & b \end{bmatrix}$ ，两个嵌入concat后得到嵌入 $\begin{bmatrix} a & a & a\\ a & a & a\\ b& b &b \\ b& b & b \end{bmatrix}$ 。