无监督方面词提取

论文传送门：https://www.aclweb.org/anthology/P17-1036.pdf

模型描述

模型最终的目标是学习出aspect嵌入的集合，每个aspect都可以由嵌入空间中最近的词来解释。最开始是将词汇表中的每个词和特征向量对应起来。我们使用词嵌入来表示特征向量，因为词嵌入是为了将在上下文中经常共现的词映射到嵌入空间里相近的位置。单词的特征向量对应到词嵌入矩阵E(vd)的每一行，一共有v行，v是单词表的容量。我们想要学到aspect词的嵌入，这些aspect词和单词之间共享一个嵌入空间。这就要求aspect嵌入矩阵T(kd),这里的k是提前定义好的aspect的数量，远小于v？？。aspect的嵌入常常用来估计词汇表中的aspect词，而这些aspect词会经过注意力机制过滤出来。

送给模型ABAE的每个输入样例是一个review句子中单词的索引列表。对于给定的每一个输入，进行两步操作。首先，通过注意力机制将非方面词降低权重过滤掉，然后从高权重单词嵌入中重构句子嵌入。然后，我们试着重构句子嵌入by方面嵌入fromT的线性组合。这个降维和重构的过程，是ABAE想以最小的信息损失来讲句子嵌入从过滤句子向重构句子的转换，尽可能地保留方面词在k embedded aspects中的信息。

加入注意力机制的句子嵌入

第一步，我们为每个输入句子构造一个向量表示zs（with ai）。总的来说，我们希望向量表示可以根据句子的主题捕捉到最相关的信息。我们定义句子嵌入zs为单词嵌入ewi的加权和（corresponding to 句子中的单词索引）。对于句子中的每个单词wi，我们计算一个正的权重值ai，可以理解为wi是可以表征句子主题信息的概率。这个ai就是通过注意力模块来计算的，取决于单词的嵌入ewi和句子的全局语境。文章中，作者认为句子所包含的单词的词嵌入就可以表征句子的全局信息。M(d*d)映射每个单词的词嵌入和上下文的全局嵌入（这个矩阵在训练过程中得到）。我们可以将attention模块分两步理解，给定一个句子，我们首先通过将其所有单词的词嵌入平均得到句子的上下文全局表示ys。句子中每个单词的权重是基于两个方面的：其一是通过变换矩阵(捕捉单词和K个方面之间的相关性)来过滤/筛选单词；其二是通过计算筛选到单词和上下文全局表示ys的内积来捕捉其间的相关性。

融入方面嵌入的句子重构

我们已经得到了句子嵌入。现在来描述如何得到句子嵌入的重构表示。如图一所示，重构过程包含两步转变，类似于一个自编码器。直观上，我们可以把重构看作方面嵌入的一个线性组合from(T)。pt是K个方面嵌入的权重向量，每个权重值代表了输入句子属于相关aspect的概率。pt可以通过将句子向量表示zs(with ai)从d维降到k维，再接一个softmax激活函数产生标准化的非负权重。权值矩阵W和bias在训练过程中得到。

训练目标

ABAE通过训练来不断减小重构误差。我们采用了之前工作中的边缘最大化目标函数。对于每一个输入句子，我们随机从我们的训练数据中采样m个句子作为负样本，记为ni，同样由它们的单词嵌入的平均来得到。我们的目标是使重构向量rs和目标句子向量zs(with ai)尽可能的相似，而与负样本的ni尽可能的不同。因此，非正则目标J形式化为如下的hinge loss。（限制了正负样本的得分差距，使其更专注于分类类别的准确性）

正则化项——（保证方面嵌入之间的正交性）

我们希望学习到review数据集最具代表性的aspects的向量表示。然而，方面嵌入矩阵T在训练过程中可能会有冗余的问题？？？。为了保证结果方面嵌入的多样性，我们给目标函数加了一个正则化项来激励each aspect embedding的唯一性。由此引入U(θ)。表达式中，I是单位矩阵，Tn是将T的每一行归一化成length为1的矩阵。Tn·Tn.T中任意非对角元素对应着两个不同aspect embedding的内积。因此，U(θ)在任意两个不同的aspect embedding内积为0时达到最小。因此，这个正则化项鼓励了aspect embedding matrix的行之间的正交性，惩罚了不同aspect vectors的冗余性。由此，我们最后的目标函数L变成J(θ)+λU(θ)，λ是控制正则化项权重的超参数。

实验设置

数据集

在真实世界的两个数据集上对我们的方法进行了评估。
1）citysearch corpus：包含5w条餐厅评价，有人对其中3400条数据进行了手工标注，作为测试算法预测的效率，分为了六类。
2）beeradvocate：包含1.5million的评价。对9245个sentences进行了五方面的标注。

baseline methods

为了验证模型的有效性，我们比较了一系列的基准模型。
LocLDA：此方法使用了LDA的标准实现。为了blahblah每个句子被看作是一个独立的文档。
k-means：我们通过使用k-means词嵌入的质心初始化了aspect矩阵T。
SAS：这是一个综合发掘aspects和aspect-specific opinions的混合模型。这个模型在发掘meaningful aspects方面于众多话题模型中脱颖而出。
BTM这是一个双词话题模型，专为像社交媒体和评论网站的短文本设计。BTM相对于传统LDA的关键优势在于它通过直接建模语料库上无序的共现词对消除了数据稀疏性的问题。研究显示，它performs better

实验设置：

评论数据首先通过移除停用词、标点符号和词频过滤（少于十次的过滤掉）。baseline LocLDA我们使用了开源的GibbsLDA++实现；BTM，使用了yan等人的开源实现。我们在保留集上用网格搜索以主题一致性（后续等式10中会详细介绍）度量tune所有主题模型baseline的超参数。for LocLDA, 狄利克雷先验参数分别为α=0.05，β=0.1；for SAS and BTM, α=50/K，β=0.1。对所有的主题模型我们都吉布斯采样迭代一千次。

for ABAE模型，我们用在每个数据集上进行负采样word2vector 训练得到的词向量初始化词嵌入矩阵E。嵌入维度选择200，窗口大小为10，负采样样本为5.训练词向量的参数我们没有针对数据集进行tune。同时，我们用k-means的簇中心初始化aspect embedding matrix T。其他的参数都是随机初始化。在训练过程中，我们修正了词嵌入矩阵E并且优化了其他参数by 学习来为0.001 batchsize为50 15个epoch的Adam。每个输入样本的负样本数量设置为20，正则化惩罚因子λ to 1通过在保留集上使用网格搜索来tune参数。所有模型的报告结果都是run 10次取的平均结果。

循着这些人的工作，我们设置aspects的数量为14。正如在之前的工作中一样，我们手动将每个推断出来的aspect 根据其top ranked representative words map到gold-standard aspects。在ABAE中，一个aspect的代表性单词可以通过使用cosine作为相似性度量来找到最相近的词来度量。

测试评估和结果

这部分，我们描述了eval人物并且记录了实验结果。我们从两个方面评估ABAE模型：
·它是否能找到有意义且语义一致的aspect
·在真实世界的评论数据集中它可以提高aspect识别的性能吗？

aspect质量评估

实验结果seems还OK，中间的representative words是实验给出，左侧的是手动归档，和右侧的匹配也是人为。——这里可以观察不同aspect之间的耦合性是否够大，distinguish的能力是否足够强。
一致性计算

为了客观地衡量aspect的质量，我们使用一致性得分作为衡量，在2011年的工作中被证明和人类的判断有很好的关联。给定一个aspect z 和属于它的top words wi，其一致性得分可以由下式计算：D1是单词的文档频率，D2是单词对的文档共现频率。一个高的一致性得分往往代表着aspect有更好的解释性。从图中可以看出，ABAE效果最好。BTM比LocLDA和SAS效果更好，可能是因为BTM直接建模共现词的生成，而传统LDA则是从文档级别建模单词生成来隐式地捕捉这些patterns。有趣的是在词嵌入上perform k-means对于比其他所有的baseline取得更好效果来说是充分的，包括BTM。这表明神经词嵌入对于捕捉词共现信息效果更好。
用户评估（略）

aspect识别

评估标准是看预测标签在多大程度上匹配了真实的标签，以精确率、召回率和F1值来衡量。k-means证明神经词嵌入很好用，ABAE 又证明attention机制的高效。capture the main topic of a sentence by only focusing on aspect-related words。

验证注意力机制的有效性。

图4显示了注意力机制给一些样例句子的单词分配的权重。正如我们所见，模型学习到的权重和人类的直觉匹配度很高。为了评估注意力模型的性能，我们又进行了实验哈哈哈，对比实验中最后的句子向量就用ys来表示。实验结果表示它实现了更高的准确率和召回率。

结论

我们提出了ABAE，简单但是高效的神经注意力模型。与LDA模型相比，ABAE显式地捕获单词的共现模式并克服了评论语料库中存在的数据稀疏问题。我们的实验结果表明ABAE不仅学习了更高质量的aspect，而且更有效地捕获了评论数据所属的aspect。据我们所知，我们是第一个提出 一种用于方面提取的无监督神经方法。ABAE直观，结构简单，而且规模也很好。所有这些好处使它在练习中成为一种很有前途的替代基于LDA的方法。