论文笔记 | Attention-based LSTM for Aspect-level Sentiment Classification

---

作者：刘锁阵
单位：燕山大学

---

论文地址：https://www.aclweb.org/anthology/D16-1058.pdf
发布时间：2016

前言

最近在初步学习如何将注意力机制应用到文本分类领域，所以读了几篇相关的论文，在此记录一下。

背景介绍

Aspect-level的情感分类在情感分析中是一个比较细粒度的工作。在本篇论文中，作者说明一个句子的情感分类结果不仅由内容决定，而且还和所关注的方面有关。

作者举了一个例子：“The appetizers are ok, but the service is slow.”，对于菜的味道而言，顾客的情感是正面的、积极的；而对于服务而言，顾客的情感是负面的。

因此，为了解决这个问题，作者提出了构建基于注意力机制的模型来解决aspect-level的情感分类任务。

论文的主要贡献：

• 提出了基于注意力机制的LSTM模型。当关注不同的aspect时，模型可以关注句子中的不同部分。
• 设计了两种方式来在计算注意力时，将aspect信息考虑在内：
  - 对词进行向量表示时，将aspect embeddings附加到输入向量后面。
  - 计算注意力权重时，将aspect embeddings和句子的隐藏层输出做concat，一起计算注意力权重。
• 实验结果显示，该方法与几个基线模型相比，效果有着不错的提高。并且更多的例子也表明注意力机制对于aspect-level的情感分类任务效果是非常不错的。

模型设计

1. LSTM with Aspect Embedding(AE-LSTM)

​为每个aspect，学习一个embedding向量。

向量$v_{ai}\in {\mathbb{R}}^{d_a}$ 表示aspect $i$的embedding向量。$d_a$是aspect embedding的维度。$A\in {\mathbb{R}}^{d_a\times |A|}$由所有aspect embedding组成。

2. Attention-based LSTM (AT-LSTM)

$H\in {\mathbb{R}}^{d\times N}$是由隐藏向量