17、新闻文章中争议性问题及其子主题的识别

新闻文章中争议性问题及其子主题的识别

1. 计算子主题与情感相关性的方法

为了计算子主题候选与针对某问题所表达情感的相关性，我们按以下方式估计给定问题下候选的概率：
[P(t_{i}|\text{Issue}) = \frac{\sum_{t_{i} \in \text{NP} {\text{Issue}} \cap \text{senti}} \text{scr}(t {i})}{\sum_{t_{i} \in \text{NP} {\text{Issue}}} \text{scr}(t {i})}]
其中，(\text{NP}_{\text{Issue}} \cap \text{senti} = { \text{NP} | \text{NP} \in \text{sentence}, \text{sentence} \in \text{Issue}, \text{NP} \in \text{senti} })。

同时，上下文相似度（第一个统计特征）衡量问题和子主题共享相同上下文的程度，但它们可能出现在不同句子中。为了给与问题在同一句子中出现的子主题更高权重，我们通过计算它们在同一句子中出现的次数来衡量其句子相关性：
[ \text{Cor}(S_{\text{Issue}}, S_{\text{NP}}) = \frac{|S_{\text{Issue}} \cap S_{\text{NP}}|}{|S_{\text{Issue}}| \cdot |S_{\text{NP}}|} ]
这里，(|\cdot|) 表示集合中句子的数量。

2. 实验设置

• 数据集 ：使用 MPQA 语料库，该语料库包含 2001 年 6 月至 2002 年 5 月来自 187 个不同外国和美国新闻来源的新闻文章，部分文章被分为 10 个不同主题。语料库包含 355 个带有主题信息的文档和 8955 个句子。具体主题和文档数量如下表所示：
  | 主题 | 文档数量 |
  | — | — |
  | 布什总统 2002 年国情咨文 - 邪恶轴心 (AE) | 30 |
  | 美国在关塔那摩湾关押囚犯 (GB) | 55 |
  | 对美国国务院人权报告的反应 (HR) | 30 |
  | 《京都议定书》的批准 (KP) | 43 |
  | 2002 年津巴布韦总统选举 (ZI) | 46 |
  | 以色列定居点 (IS) | 25 |
  | 各国的太空任务 - 空间站 (SM) | 30 |
  | 台湾与中国大陆的关系 (TC) | 28 |
  | 委内瑞拉总统政变 (VE) | 37 |
  | 阿根廷经济崩溃 (AR) | 31 |

• 构建黄金标准 ：由于人力资源有限，随机选择了五个主题（AE、GB、HR、KP 和 ZI）。在 MPQA 语料库中标记了极化句子，从所选主题的 204 个文档的 5434 个句子中轻松获得了 2002 个（36.84%）极化句子。三位注释者从极化句子中挑选子主题，出现冲突时通过多数投票解决。由于一个句子可能有多个子主题实例，一位或多位注释者共确定了 2723 个子主题（平均每个句子 1.36 个子主题）。其中，1947 个子主题（71.6%）得到了两位或三位注释者的认可。合并冗余子主题实例（即相同短语）后，每个问题的平均唯一子主题数量为 17.8 个。

3. 实验结果

• 争议性问题检测 ：

  • 检测算法 ：基于算法检测问题短语，两个阈值 (\delta) 和 (\gamma) 分别设置为 250.0 和 50.0（这两个阈值是经验值）。

  • 检测结果 ：下表展示了为十个主题类别检测为争议性问题的前三个短语，以及超过阈值的检测短语数量。下划线部分表示它们出现在语料库原始主题类别名称中。
    | 主题 | 数量 | 检测到的情感问题 |
    | — | — | — |
    | AE | 5 | 邪恶轴心、布什总统、伊朗 伊拉克和朝鲜 |
    | GB | 4 | 囚犯、关塔那摩湾、关塔那摩 detainees |
    | HR | 3 | 国务院报告、人权、人权报告 |
    | KP | 4 | 《京都议定书》、温室、气候变化 |
    | ZI | 4 | 穆加贝、津巴布韦选举、总统选举 |
    | IS | 3 | 巴勒斯坦人、以色列、承认巴勒斯坦国 |
    | SM | 3 | 空间站、俄罗斯太空官员、太空活动 |
    | TC | 4 | 台湾、中国、台湾关系 |
    | VE | 3 | 总统乌戈·查韦斯、委内瑞拉、查韦斯政府 |
    | AR | 4 | 阿根廷政府、经济、帮助阿根廷 |

  • 用户评估 ：我们采用用户评估来量化性能。为每个主题选择检测为争议性问题的前十个短语，并随机提供给三位用户。用户判断给定短语是否适合作为争议性问题，若得到两位或三位用户的认可则认为该短语正确。我们将提出的模型生成的排名与基于频率的模型（按短语频率排名）进行了比较，实验分为前三个短语、前五个短语和前十个短语三种情况。精度计算公式为：
    [ \text{precision} = \frac{\text{正确短语的数量}}{\text{短语的总数量}} ]
    在前十个短语的情况下，由于短语集相同，只是排名列表不同，所以结果相同。在前五个短语的情况下，两种模型的差异较小（我们提出的模型精度为 0.83，基于频率的模型为 0.74），而在前三个短语的情况下，我们提出的模型精度接近 1.0（我们提出的模型精度为 0.9667，基于频率的模型为 0.8）。不过，我们的模型存在一些问题，大多数检测到的短语是名词短语，而动词短语作为问题同样有用。基于频率的算法更倾向于名词短语，因为名词短语在同一文章中比动词短语重复更多次，这就是“承认巴勒斯坦国”（IS 主题）和“帮助阿根廷”（AR 主题）在列表中排名较低的原因。

• 子主题提取 ：

  • 评估方法 ：使用手动注释的黄金标准评估子主题提取方法，其性能通过精度和召回率来衡量，分别计算提取的子主题在黄金标准中被找到的数量以及注释的子主题被该方法检测到的数量。
  • 结果与问题 ：以下是为实验选择的五个主题区域的精度和召回率结果：
    | 主题 | 精度 | 召回率 | F1 分数 |
    | — | — | — | — |
    | AE | 0.4170 | 0.7778 | 0.5429 |
    | GB | 0.4000 | 0.6842 | 0.5049 |
    | HR | 0.3167 | 0.7778 | 0.4501 |
    | KP | 0.3167 | 0.8333 | 0.4590 |
    | ZI | 0.4000 | 0.7500 | 0.5217 |
    | 总计 | 0.3700 | 0.7640 | 0.4986 |

  该算法存在一些弱点，主要包括无法处理新闻文章中常见的指代问题，导致许多错误的子主题；表面上不同但语义相同的表达被视为不同短语；特征依赖频率，一些重要子主题在新闻文章中出现频率不高；将所有名词短语作为候选，导致出现不一致的候选。

4. 特征重要性分析

为了了解五个特征的相对重要性，我们通过每次排除一个特征来测量分类性能的变化。如下图所示，与情感模型（SM）相关的子主题可能性和模型间差异最为重要，因为排除它们时性能下降最为显著。不关联情感信息时，子主题大多是高频术语和命名实体；不使用 KL - 散度测量的上下文相似度时，许多提取的子主题与问题不直接相关。基本特征虽然简单，但效果不可忽视，相关特征贡献最小，但也会对性能产生一定影响。

graph LR
    A[所有特征] --> B[无模型间差异]
    A --> C[无与 SM 的子主题可能性]
    A --> D[无相关特征]
    A --> E[无基本特征]
    B --> F[性能下降]
    C --> F
    D --> F
    E --> F

5. 应用设想

我们设想提出的方法可用于构建一个系统，该系统能检测争议性问题（或接收用户查询），并组织子主题检测结果。例如，识别出的子主题会在左侧显示，同时显示极性、实际文本和首次出现的日期，这将使用户能够快速了解存在哪些子主题、表达了何种情感以及具体示例。

例如对于“邪恶轴心”主题：
| 子主题 | 极性 | 实际文本 | 首次出现日期 |
| — | — | — | — |
| 欧盟委员会发言人 | NEG | 欧盟委员会发言人在新闻发布会上对布什将朝鲜、伊朗和伊拉克称为邪恶轴心的失态表示担忧，并表示欧盟高级代表不同意这种政策。 | 2002.03.14 |
| 芬兰和比利时 | NEG | 2 月 17 日，芬兰和比利时外交部长也对所谓的邪恶轴心言论和美国对伊拉克发动打击的计划表示反对。 | 2002.03.15 |
| 新威胁 | NEG | 关于布什的邪恶轴心言论，德国外交部长表示“盟友不是卫星国”，法国外交部长尖锐批评美国单边、简单的世界观对世界构成新威胁。 | 2002.03.15 |
| 大规模杀伤性武器 | POS | 布什总统威胁摧毁这些国家并采取一切手段阻止其发展大规模杀伤性武器的第二天，国务卿鲍威尔在参议院外交关系委员会表示，将这些国家称为邪恶轴心并不意味着美国政府打算入侵它们。另一个目标是防止支持恐怖主义的国家威胁美国…… | 2002.02.01 |

新闻文章中争议性问题及其子主题的识别

6. 相关工作对比

在争议性问题和子主题识别领域，已有一些相关工作，但与本文提出的方法存在明显差异。
- Qiaozhu Mei 等人的工作 ：他们提出了一种主题 - 情感混合模型，用于从博客文章中提取主题及其情感。该模型使用了多项式混合，包括背景主题模型、子主题模型、正情感模型和负情感模型。不过，他们仅使用了两个数据集，查询内容主要是如“ipod”和“达芬奇密码”等产品相关的内容，且只处理一元词，而本文处理的是短语。他们的方法主要是寻找产品及其属性，并非检测问题及其子主题，问题相对简单。
- Ba - Quy Vyong 等人的工作 ：他们提出了维基百科中的争议排名（CR）模型。该模型利用文章编辑历史中的争议级别来定义文章争议得分和贡献者争议得分。但该模型仅适用于维基百科，因为一般新闻文章没有编辑历史和除作者外的贡献者信息。
- Kerstin Denecke 等人的工作 ：他们专注于从博客中发现主主题并在句子级别识别情感。通过应用潜在狄利克雷分配算法检测主题，并使用 SentiWordNet 识别情感。然而，他们在检测主主题时未使用情感模型，其定义的主题与本文定义的争议性问题并不相同。
- Soo - Min Kim 和 Eduard Hovy 的工作 ：他们尝试利用 FrameNet 从新闻文章中提取观点主题。若所有句子简单且 FrameNet 涵盖大量观点词，该方法效果较好，但在存在复杂语义关系时，难以捕捉情感主题，且仅适用于句子级别的主题检测。
- [4] 中的工作 ：该工作利用与情感线索的共现信息提取情感主题，通过计算候选（名词短语）与情感线索的余弦相似度来识别情感主题。但其目的是使用主题作为工具生成特定领域的情感线索，而非识别问题的情感主题，且情感主题的边界局限于句子。

相关工作	主要方法	适用数据	处理单元	目标	局限性
Qiaozhu Mei 等人	主题 - 情感混合模型	产品相关博客数据	一元词	寻找产品及其属性	只处理一元词，问题简单
Ba - Quy Vyong 等人	争议排名（CR）模型	维基百科文章	-	评估文章和贡献者争议性	仅适用于维基百科
Kerstin Denecke 等人	潜在狄利克雷分配算法 + SentiWordNet	博客文章	-	发现主主题和识别情感	检测主主题未用情感模型
Soo - Min Kim 和 Eduard Hovy	FrameNet	新闻文章	-	提取观点主题	复杂语义关系处理差，句子级别检测
[4] 中的工作	共现信息 + 余弦相似度	-	名词短语	生成特定领域情感线索	情感主题边界局限于句子

7. 总结与展望

本文主要解决了争议性问题检测和子主题提取两个问题。在问题检测方面，使用主题和情感模型的混合来识别名词或动词短语作为候选问题，并通过衡量正负情感的数量和差异来计算争议程度。在子主题提取方面，生成名词短语作为候选，并计算其特征得分进行分类，使用了两个位置特征和三个统计特征。

实验结果表明，提出的方法作为首次尝试提取争议性问题及其相关子主题是合理的。然而，该方法仍存在一些问题，需要进一步研究和改进：
- 边界检测 ：需要研究问题和子主题的边界检测，以获得合适的粒度，超越当前使用动词和名词短语的方法。
- 处理释义 ：处理释义问题，无论是为了识别问题和子主题，还是为了评估，都非常重要。
- 特征改进 ：可以添加更多有意义的特征进行分类，并改进概率估计。

graph LR
    A[当前方法] --> B[边界检测研究]
    A --> C[处理释义问题]
    A --> D[特征改进]
    B --> E[更合适的粒度]
    C --> E
    D --> E

总体而言，本文提出的方法为新闻文章中争议性问题及其子主题的识别提供了一种有效的途径，但仍有很大的改进空间，未来的研究可以围绕上述问题展开，以提高方法的性能和实用性。