26、杂志文章主题描述符分配的研究与实践

杂志文章主题描述符分配的研究与实践

一、实验概述

本次研究围绕杂志文章的主题描述符分配展开，进行了一系列实验，旨在比较初始特征选择方法、不同的文本分类算法，并探索通过示例选择来改进结果的可能性。实验使用了超过930篇新的、之前未见过的杂志文章，这些文章由出版商的专业索引人员手动分类。

二、重要内容术语的选择与加权

1. 文本预处理
   • 去除停用词和数字，将大写字母转换为小写字母（专有名词除外）后，训练集文本包含超过60,000个不同的单词。
   • 通过识别专有名词并进行重要内容词和专有名词的初始选择，根据词在完整文本中的权重选择术语时，特征集约有12,000个不同的单词和专有名词；从文章文本开头选择术语时，特征集约有20,000个不同的单词和专有名词。测试集文章的文本也以类似方式进行浓缩。
2. 特征选择方法比较
   • 基于词频进行长度归一化并消除低权重词的特征选择方法，通常比仅从文章开头部分选择特征的方法得到的分类结果更好。
   • 当从文章的主题重要部分（如标题、导语和归属部分）选择内容术语时，术语集中仍包含一些常用词。

三、学习算法与描述符分配

1. 评估指标
   • 通过将自动分配主题描述符的结果与专家分配的结果进行比较，并计算召回率、精确率和F - 度量值来评估自动分配的有效性。在F - 度