论文笔记：基于外部知识的会话模型Commonsense Knowledge Aware Conversation Generation with Graph Attention

最新推荐文章于 2023-07-05 01:31:21 发布

原创

最新推荐文章于 2023-07-05 01:31:21 发布 · 3.2k 阅读

5 ·

CC 4.0 BY-SA版权

本文探讨了一种结合静态和动态图注意力机制的会话生成模型，旨在利用常识知识图谱改善对话质量。模型通过增强输入语义信息理解和利用知识图中的三元组信息生成更佳回复。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Commonsense Knowledge Aware Conversation Generation with Graph Attention

1 出发点

现有的具有外部知识的模型，大多采用非结构化、开放域知识或者结构化、小规模、特定域的知识，这就导致模型存在依赖高质量的非结构化知识的问题或者在开放域的对话场景下表现不佳的问题。而且，大多数模型通常孤立地利用知识三元组（实体），而不是在知识图中将知识三元组作为一个整体来对待。

2 贡献

提出了两种图注意力机制：（1）、静态图注意力机制，编码被检索出来的知识图用来增强输入句子的语义信息，这样可以更好的理解输入。（2）、动态图注意力机制，读取知识图和其中的知识三元组，然后利用其中的信息生成更好的回答。

3 任务定义

给定对话历史 $X=x_{1}...x{n}$ 和知识图的集合 $G=\{g_{1}...g_{N_{G}}\}$ 的条件下，生成一个目标回答 $Y=y_{1}...y_{m}$ 。每个知识图由一系列的三元组组成 $τ1...τNgi}g_{i}=\{\tau_{1}...\tau_{N_{gi}}\}$ ,每个知识三元组 $τ=(h,r,t)\tau=(h,r,t)$ ，分别代表：头实体、关系和尾实体。note： $G$ 并不是整个知识库中的所有图的集合，只是其中的一部分，这一部分是以 $X$ 中的单词为索引检索得到的。
作者在模型中使用TransE^[1]来表示实体和关系。并且使用MLP使得模型可以使用实体和关系的TransE表示，如公式1所示， $k\pmb{k}$ 为一个知识三元组的表示：
$k=(h,r,t)=MLP(TransE(h,r,t))\pmb{k}=(\pmb{h},\pmb{r},\pmb{t})=MLP(TransE(h,r,t))$