25、移动购物情感词典自动生成方法研究

最新推荐文章于 2025-10-17 09:07:13 发布

terraform7cloud

最新推荐文章于 2025-10-17 09:07:13 发布

阅读量41

点赞数

CC 4.0 BY-SA版权

分类专栏：自然语言处理前沿探析文章标签：移动购物情感分析情感词典

本文链接：https://blog.youkuaiyun.com/terraform7cloud/article/details/151098283

自然语言处理前沿探析专栏收录该内容

32 篇文章 ¥499.90

订阅专栏¥69.90

会员秒杀 ¥9.9 重磅福利

超级会员免费看

移动购物情感词典自动生成方法研究

在移动购物领域，用户对商品的评价蕴含着丰富的情感信息，而情感词典的质量在很大程度上影响着对这些情感信息的分析效果。本文将介绍一种用于移动购物的情感词典构建方法，并通过实验验证其有效性。

1. 情感词表示与矩阵计算

在情感分析中，情感词的表示和它们之间的关系是重要的基础。两个情感词 (e_1) 和 (e_2) 可以分别在情感矩阵 (A) 和 (B) 中表示。通过迭代处理五条评论，我们可以得到特征共现的实例数量，这一过程类似于算法 1 中矩阵 (C) 的获取。例如，在一个表格中，每个单元格显示了两个特征在同一评论中共同出现的次数。

从距离上看，无论使用欧几里得距离还是余弦距离，某些情感词之间的距离明显更近。这一结果反映了 EPMI 算法与 PMI 算法的差异。在聚类模型中，距离较近的向量更容易被聚类到同一类别中，因为情感词越相似，它们之间的距离就越短。

2. 实验设计

为了评估所开发的特定领域词典，我们设计了一系列实验，将其与两种流行的通用词典以及不使用词典的最先进的机器学习和深度学习方法进行比较。主要使用在线产品评论领域的文档级分类任务来评估不同的词典和方法，并选择 F1 度量作为主要评估指标，选择 NB 和 SVM 作为分类器。

2.1 数据集

数据集包含中文和英文购物评论，涵盖七种类型的产品。中文产品评论包括酒店、服装和水果三个领域，英文评论来自著名的亚马逊产品评论数据集，包含书籍、DVD、电子产品和厨房用品四个领域，每个领域有 1000 条正面评论和 1000 条负面评论。

语言	领域	来源
中文	酒店	Dr. Tan (http://download.youkuaiyun.com/download/lssc4205/9903298)
中文	服装、水果	京东 (https://www.jd.com/)
英文	书籍、DVD、电子产品、厨房用品	Blizter 等人收集的亚马逊产品评论数据集

2.2 实验分组

无词典方法
- BOW（词袋模型） ：使用经典的词袋模型表示文档，每个文档 (d) 由特征存在向量表示。
- W2V（Word2Vec） ：使用 Google 在 2013 年发布的深度学习工具 Word2Vec 对单词进行编码。使用 genism 库实现，几乎所有参数使用默认值，向量维度为 200。
通用词典方法
- 中文：DUTIR 词典
  - DUTIR ：仅考虑 DUTIR 词典中的单词作为特征，评论 (d) 可表示为 (\vec{d}=[0,1,\cdots,1])。
  - Only 3 ：考虑 DUTIR 词典中情感词的三种极性，产品评论 (d) 由三维向量表示。
  - DUTIR + 3 ：结合上述两种表示，产品评论 (d) 可表示为 (\vec{d}=\vec{d}_0 + [k_0,k_1,k_2])。
- 英文：SentiWordNet 词典
  - SentiWordNet ：关注 SentiWordNet 词典中的单词，评论 (d) 可表示为 (\vec{d}=[0,1,\cdots,1])。
  - Only 3 ：产品评论 (d) 由三维向量表示，其中 (k_0) 是评论中单词的积极性得分之和，(k_1) 和 (k_2) 分别是消极性和客观性得分之和。
  - SentiWordNet + 3 ：结合单词和极性表示，产品评论 (d) 可表示为 (\vec{d}=\vec{d}_0 + [k_0,k_1,k_2])。
特定领域词典方法
- DS（特定领域词典） ：考虑特定领域词典中的情感词作为特征，评论 (d) 可表示为 (\vec{d}=[0,1,\cdots,1])。
- Only (k) ：使用 (k) - 均值将情感词聚类为 (k) 个类别，产品评论 (k) 由 (k(k\geq2)) 维向量表示，其中 (n_t) 表示评论中属于第 ((t + 1)) 类别的情感词数量。
- DS + (k) ：结合上述两种表示，产品评论 (d) 可表示为 (\vec{d}=\vec{d} 0 + [n_0,n_1,\cdots,n {k - 1}])。

在词典构建过程中，考虑了三种不同的情感矩阵（PMI、TFIDF - PMI 和 EPMI），不同矩阵中的情感词表示不同，聚类结果也会不同。

此外，我们还从覆盖率和使用率两个方面评估词典。假设测试集包含 (N) 个唯一单词，其中 (T) 个情感词包含在情感词典中，用于训练分类模型的词典大小为 (S)，则词典的覆盖率为 (T/N)，使用率为 (T/S)。为了综合考虑这两个指标，我们提出了一个平均评估指标，如 F1 度量。

graph LR
    A[数据集] --> B[无词典方法]
    A --> C[通用词典方法]
    A --> D[特定领域词典方法]
    B --> B1[BOW]
    B --> B2[W2V]
    C --> C1[中文:DUTIR]
    C --> C2[英文:SentiWordNet]
    C1 --> C11[DUTIR]
    C1 --> C12[Only 3]
    C1 --> C13[DUTIR + 3]
    C2 --> C21[SentiWordNet]
    C2 --> C22[Only 3]
    C2 --> C23[SentiWordNet + 3]
    D --> D1[DS]
    D --> D2[Only k]
    D --> D3[DS + k]

3. 实验结果与讨论

3.1 总体结果

从总体分类结果来看，特定领域和通用词典方面，DS + (k) 在所有七个领域的评论中取得了最佳结果，DS 在四个评论中取得了第二好的结果，并且 DS 优于通用词典 DUTIR 和 SentiWordNet。这表明从相应语料库构建的特定领域词典在购物评论的情感分类任务中表现更好。

无词典方法中，经典的词袋模型在情感分类任务上明显优于深度学习模型 Word2Vec。BOW 在三个评论中取得了第二好的结果，而 W2V 在中文和英文评论中表现几乎最差，可能需要大量的训练数据来训练 Word2Vec。

在情感维度方面，Only 3 和 Only (k) 在中文和英文评论中的表现相对较差，说明仅考虑情感维度不足以表达评论，而 DS + (k) 的表现优于 DS 和 Only (k)，表明结合词典的单词和情感维度是有效的。

方法	表现
DS + (k)	最佳结果（所有七个领域评论）
DS	四个评论中第二好结果
BOW	三个评论中第二好结果
W2V	中文和英文评论中几乎最差表现
Only 3、Only (k)	相对较差表现
DS + (k)	优于 DS 和 Only (k)

3.2 EPMI 与 PMI 和 TFIDF - PMI 的比较

在 (DS + (k)) 的分类结果中，DS + (k) (EPMI) 的分类性能优于 DS + (PMI) 和 DS + (TFIDF - PMI)，特别是 DS + (k) (PMI) 的性能相对较差。通过 (t) 检验，三种方法的结果差异显著（(p < 0.05)），这反映了 EPMI 在情感分类方面优于传统 PMI。

从时间效率上看，情感矩阵 (B) 和 (F) 所需的平均聚类时间明显少于情感矩阵 (A)。这是因为在矩阵 (B) 和 (F) 中，通过特定方法降低了矩阵空间中向量的维度，从而提高了分类的效率和准确性。因此，使用 EPMI 构建的情感矩阵 (F) 表现最佳。

3.3 (k) 值的选择

特定领域词典的情感维度为 (k)，不同的 (k) 值对分类性能有显著影响。例如，在英文产品评论中，当 (k = 2) 时，Only (k) (EPMI) 在书籍和 DVD 领域表现最佳，但在厨房和电子产品领域，较大的 (k) 值可以提高分类性能。

实验表明，当 (k) 固定为 2 时，Only (k) (EPMI) 的性能不佳。因此，需要通过五折交叉验证在训练集上选择合适的 (k) 值。

3.4 NB 与 SVM 的比较

在之前的实验中，我们选择 NB 作为分类器。为了进一步研究分类算法对分类性能的影响，我们选择 SVM 作为分类器对每种方法中表现最佳的方法进行实验。结果显示，SVM 在使用 DUTIR + 3 进行中文评论分类以及使用 BOW 进行书籍和 DVD 领域评论分类时表现优于 NB；而在其他方法中，NB 表现更好。

这可能是因为情感分类是一个具有明显特征依赖的领域，NB 通常表现出色。尽管特定领域词典在 NB 和 SVM 上都表现较好，但对于不同性质的文档，可能需要不同类型的文本分类模型，因此需要进一步的实证和理论研究来理解情感分类任务与分类模型之间的关系。

3.5 词典覆盖率

从覆盖率、使用率和平均值三个方面讨论分类性能。在中文和英文领域，BOW 的平均值相对较高。对于中文产品评论，DUTIR 的覆盖率和使用率最差，因为它是一个通用词典，包含的购物评论中常用的单词较少。SentiWordNet 的覆盖率明显高于 DUTIR，这部分解释了为什么它在情感分类任务中的表现更好，可能是因为它包含更多与移动购物评论相关的单词。

对于英文产品评论，SentiWordNet 的覆盖率高于特定领域词典，但使用率远低于 DS。词典使用率过低可能会影响性能并浪费移动设备的计算资源，而 DS 在中文和英文产品评论中的平均值都明显高于通用词典，这从另一个方面反映了特定领域词典在移动购物评论中的优势。

语言	词典	覆盖率	使用率	平均值
中文	DUTIR	低	低	低
中文	SentiWordNet	高	-	-
英文	SentiWordNet	高	低	-
英文	DS	相对低	高	高

4. 结论

本文提出的移动购物情感词典构建方法，通过构建考虑情感词与产品特征关系的情感矩阵，并基于矩阵空间中情感词之间的距离进行聚类，具有情感维度灵活的特点。同时，采用 TFIDF 思想过滤产品特征，并提出了更适合移动评论领域的 EPMI 算法。

实验结果表明，所构建的情感词典在情感分类任务中显著优于基准方法，证明了该方法的有效性。在实际应用中，特定领域词典能够更好地适应移动购物评论的特点，提高情感分析的准确性。未来，我们可以进一步研究不同类型文档与分类模型之间的关系，以优化情感分类性能。

该方法为移动购物领域的情感分析提供了一种有效的解决方案，有助于商家更好地了解用户的情感和需求，从而改进产品和服务。同时，实验结果也为情感分析领域的研究提供了有价值的参考。

移动购物情感词典自动生成方法研究

5. 操作步骤总结

为了让大家更清晰地了解整个实验过程，下面将具体的操作步骤进行总结：

5.1 数据集准备

收集中文和英文购物评论，涵盖多种产品领域。
- 中文评论：酒店评论从 Dr. Tan 提供的链接获取，服装和水果评论从京东平台爬取。
- 英文评论：从 Blizter 等人收集的亚马逊产品评论数据集获取。

5.2 数据预处理

对于中文产品评论，使用 jieba 开源软件进行中文分词和词性标注。

5.3 实验分组及操作

无词典方法
- BOW ：使用经典词袋模型，将每个文档表示为特征存在向量。
- W2V ：使用 genism 库实现 Word2Vec，参数大多使用默认值，向量维度设为 200。
通用词典方法
- 中文（DUTIR 词典）
  - DUTIR ：仅考虑 DUTIR 词典中的单词作为特征，将评论表示为向量。
  - Only 3 ：考虑词典中情感词的三种极性，用三维向量表示评论。
  - DUTIR + 3 ：结合上述两种表示方式。
- 英文（SentiWordNet 词典）
  - SentiWordNet ：关注词典中的单词，将评论表示为向量。
  - Only 3 ：用三维向量表示评论，向量元素为单词不同极性得分之和。
  - SentiWordNet + 3 ：结合单词和极性表示。
特定领域词典方法
- DS ：考虑特定领域词典中的情感词作为特征，将评论表示为向量。
- Only (k) ：使用 (k) - 均值将情感词聚类为 (k) 个类别，用 (k) 维向量表示评论。
- DS + (k) ：结合上述两种表示方式。

5.4 词典构建与评估

构建三种不同的情感矩阵（PMI、TFIDF - PMI 和 EPMI），对情感词进行聚类。
评估词典的覆盖率和使用率，使用 F1 度量作为平均评估指标。

5.5 分类器选择与实验

选择 NB 和 SVM 作为分类器，进行情感分类实验，比较不同方法的性能。

graph LR
    A[数据集准备] --> B[数据预处理]
    B --> C[实验分组及操作]
    C --> D[词典构建与评估]
    D --> E[分类器选择与实验]
    C --> C1[无词典方法]
    C --> C2[通用词典方法]
    C --> C3[特定领域词典方法]
    C1 --> C11[BOW]
    C1 --> C12[W2V]
    C2 --> C21[中文:DUTIR]
    C2 --> C22[英文:SentiWordNet]
    C3 --> C31[DS]
    C3 --> C32[Only k]
    C3 --> C33[DS + k]

6. 技术点分析

6.1 情感矩阵构建

PMI 矩阵 ：传统的 PMI 算法在情感分类中有一定应用，但在本次实验中，基于 PMI 矩阵的聚类结果（DS + (k) (PMI)）表现相对较差。
TFIDF - PMI 矩阵 ：结合了 TFIDF 思想，对产品特征进行过滤，在一定程度上提高了分类效率，但整体性能仍不如 EPMI 矩阵。
EPMI 矩阵 ：提出的 EPMI 算法更适合移动评论领域，通过降低矩阵空间中向量的维度，提高了分类的效率和准确性，在实验中表现最佳。

6.2 聚类算法

使用 (k) - 均值算法对情感词进行聚类，将情感词分为 (k) 个类别。不同的 (k) 值对分类性能有显著影响，需要通过五折交叉验证在训练集上选择合适的 (k) 值。

6.3 分类器选择

NB 分类器 ：在大多数情况下表现良好，可能是因为情感分类具有明显的特征依赖，NB 能够较好地处理这种情况。
SVM 分类器 ：在使用 DUTIR + 3 进行中文评论分类以及使用 BOW 进行书籍和 DVD 领域评论分类时表现优于 NB，但在其他方法中表现不如 NB。

7. 实际应用建议

选择合适的词典 ：根据具体的应用场景，优先选择特定领域词典（DS），尤其是在移动购物评论的情感分析中，特定领域词典能够更好地适应评论特点，提高分类准确性。
优化参数选择 ：对于 Word2Vec 模型，可能需要大量的训练数据来提高性能；对于 (k) - 均值聚类，通过五折交叉验证选择合适的 (k) 值。
综合考虑评估指标 ：在评估词典时，不仅要考虑覆盖率，还要考虑使用率，避免因词典使用率过低而浪费计算资源。