基于双注意力的联合方面情感分类模型解析
1. 模型基础模块
在进行方面情感分类时,首先要获取方面词。方面词包含句子中最多的方面类别信息,也就是具有最高方面注意力权重的词。获取方面词的方法如下:
[locterm = Maxloc(\alpha_a)]
其中,(locterm) 是方面词在句子中的位置,(Maxloc) 函数用于计算具有最高注意力权重的词的位置。
为了让模型捕捉句子中更多的方面类别特征,第 (i) 个方面的特定方面句子表示通过拼接方面类别向量 (v_i) 和句子的注意力加权表示来生成:
[r = \alpha_aH_{bi - lstm}]
[r_a = tanh(W_{ra}(r \oplus v_i))]
这里,(r) 表示句子中特定方面的注意力加权表示,(r_a \in R^{1\times3d}) 表示特定方面的句子表示,(W_{ra}) 是训练期间的权重。
将句子表示 (r_a) 输入到带有 sigmoid 函数的全连接层,以生成方面类别概率分布 (p_a^i)。对于第 (i) 个方面类别:
[p_a^i = sigmoid(W_{pa}r_a + b_{pa})]
[y_a^i =
\begin{cases}
1, & \text{if } p_a^i > \delta \
0, & \text{otherwise}
\end{cases}
]
其中,权重 (W_{pa}) 和偏置 (b_{pa}) 是训练期间的参数,(\delta) 是一个阈值,用于将概率转换为二进制输出。
超级会员免费看
订阅专栏 解锁全文

1238

被折叠的 条评论
为什么被折叠?



