论文阅读：A semantically enhanced dual encoder for aspectsentiment triplet extraction

目录

一、背景

二、创新点

三、模型框架

1 Encoder

Basic context encoder

Particular context encoder

2 Encoding interaction module

3 Boundary-driven Table-filling layer

4 解码和损失函数

一、背景

原来的方法包括：（1）pipline方法，例如两阶段模型，在第一阶段从句子中提取aspect、opinion、sentiment；在第二阶段组成合适的triplet。存在的问题是pipline方法破坏了triplet元素之间的关系，没办法捕获他们之间的交互。（2）joint model。能用一个统一的方式捕获子任务之间的交互，包含 table-filling或者span-based策略。

存在的问题：原来的pipline或者端到端的方法，侧重于创建不同的提取方案来解决ASTE，但是忽略了一个巧妙设计的编码器来增强高阶语义的捕获。一个有效的编码器可以考虑特定的语义，包括语法依赖关系、词性标签和位置信息等隐藏特征。句子中的高阶信息可以通过标记之间的附加语义来表示

二、创新点

为了利用高阶语义的优势，我们提出了一个语义增强的双编码器框架。我们构建了一个BERT编码器来编码句子的基本语义，并使用了一个增强了三域嵌入的Bi-LSTM编码器来提取特定的语义，该编码器可以区分不同语境下的词性和语义差异。

对于得到的语义，采用GCN基于依赖树对结构特征进行细化。编码交互模块迭代地从这两个角度融合文本的语义。

与当前基于管道和跨度的方法不同，我们的方法基于边界驱动的表填充（BDTF）提取情感三元组

（1）提出了一个语义增强的双编码器框架，包括两个不同的编码器。基于BERT的基本编码器捕获句子的基本语义，基于GCN和具有3域嵌入的Bi-LSTM的特定编码器从依赖树中挖掘上下文特定的语义；

（2）引入语义编码交互策略，迭代结合两个编码器学习到的语义信息，综合表达句子的语义，包括基本语境、特定评论语境、词性信息和依赖信息。

三、模型框架

1 Encoder

Basic context encoder

由于BERT使用子词拆分，因此获得的上下文特征h在维度上可能与原始句子长度不一致。为了解决这个问题，我们设计了一个Whitetokenizer，它在标记化过程中跟踪每个单词被分成子词。我们使用平均池对子词进行对齐，聚合它们的上下文特征以获得句子的对齐上下文语义hb。

Particular context encoder

首先为了准确地捕捉不同领域中单词的语义倾向，我们使用了两个查找表来初始化文本嵌入，一般的域嵌入表Eg∈R |v|×dg表示广泛上下文中单词的含义，而特定的域嵌入表Es∈R |v|×ds在特定于被分析评论的上下文中捕获它们。这里，|v|表示查找表中词汇表的大小。并且加入词性嵌入表。P = [pnoun, pverb, padj , padv, pothers]Ep ∈ R5×dp。经过三域嵌入层后，最终的句子表示为：

然后为了捕获句子的上下文特征，我们使用Bi-LSTM作为特定的编码器，该编码器以E为输入，采用门控和注意力机制获得上下文特征X

最后，建模语法信息。在依赖树上采用GCN，它学习评论的语法，并通过捕获单词之间的关联来增强当前的表示。在我们的实现中，Bi-LSTM的结果X作为初始状态。在相应的依赖树上执行多层图卷积操作，以获得语法增强的上下文表示hp。

2 Encoding interaction module

首先，将基本语义hb和特定语义hp输入到交互注意模块中，得到每个词各自的注意分数αb和αp；

为了与两种语义相互作用，增强表达，我们让注意力分数αb（αp）作用于相对的语义特征hp(hb)，融合两种语义，同时通过自循环强化原有的语义特征。

引入了多层交互机制来进一步强化

我们选择第L层交互的结果(h^L)_b作为编码交互模块的输出，并将其输入到基于bdtf的三元组提取器中.

3 Boundary-driven Table-filling layer

aspect-opinion对表示为一个two-channel有界区域，由区域的左上角起始位置S[as，os]和右下角结束位置E[ae， oe]进行定位。在此基础上，将ASTE转化为多通道区域提取和分类任务

对于高维语义，我们构建了随机词之间的关系级表示rij

对于长度为n的句子，任意两个词之间的关系级表示rij∈Rd形成一个三维关系矩阵R∈R n×n×d，将其送入L层resne的CNN编码层中提取高维关系，

将最后一层CNN的输出结果RL作为提取的结果。

经过一个边界检测分类层，得到池化的潜在候选区域P，记录了预测的aspect-opinion pairs [S(as, os), E(ae, oe)] 和他们的情感S。

4 解码和损失函数

在解码中，一个区域分类器解码潜在的triples并且排除具有“无效”情感标签的候选对象。潜在三元组被分配两个标签，记录候选区域的开始和结束位置，潜在triplet区域的标签是（S[a1, o4], E[a3, o5], Positive）。

训练目标是最小化交叉熵损失，