41、基于模糊软集理论的文本分类方法研究

基于模糊软集理论的文本分类方法研究

一、引言

在过去20年里，基于内容的文档管理任务，即信息检索（IR），在信息系统领域占据了重要地位。随着数字文档的大量出现，人们需要更灵活地访问这些文档。文本分类（TC）作为其中一项重要任务，可追溯到20世纪60年代初，但直到90年代初，由于应用需求的增加和硬件性能的提升，才成为信息系统学科的一个重要子领域。如今，文本分类广泛应用于文档索引、过滤、元数据生成、词义消歧等多个领域。

许多学习算法已被应用于文本分类，如k近邻、支持向量机（SVM）、神经网络、模糊集、直觉模糊集、粗糙集、线性最小二乘拟合和朴素贝叶斯等。不过，基于软集理论的分类算法在文本分类中的应用存在一定局限性。本文提出了一种基于模糊软集理论的文本分类新方法——模糊软集分类器（FSSC），利用模糊c均值聚类的思想进行分类，每个文档在所有文档类中都有一个隶属度，根据隶属度将文档分类到特定类别。

二、相关工作

1. 词袋（bow）结构 ：大多数解决文本分类问题的研究采用词袋结构，将文档表示为向量，每个维度代表文档集合中的一个不同术语（单词）。这种表示方式会丢失句子中的词序信息。
2. n - gram序列的字符串核 ：为弥补词序信息的丢失，有人提出了n - gram序列的字符串核方法，取得了一定成果。但该方法在处理大型数据集时存在性能问题，需要使用近似算法。
3. 语言模型 ：另一种方法是使用语言模型进行文本分类，即基于有限自动机和概率模型从文档本身生成新句子来表示文档。然而，语言模型过于复杂，更适用于文本查