16、网页与新闻自动分类及电子记录管理标准评估

网页与新闻自动分类及电子记录管理标准评估

1. 网页结构分类

网页结构在改善网络信息的组织、搜索和分析方面有着广泛应用。以链接为例，它旨在展示两个文档间的主题关联。基于此，网页文本可分为三类：
- 用于描述链接的锚文本。
- 链接附近的文本，通常包含链接前后约 25 个单词。
- 构成页面其余部分的常规文本。

在多数网页中，锚文本和链接周围的文本能更好地描述页面主题。常见的网页分类方法在使用目标页面的单词或短语时，会关注页面关键词、锚文本及其周围文本以提取特征。例如，谷歌会将链接周围文本中包含搜索关键词的页面纳入搜索结果，即便页面其余部分没有这些单词。

2. 使用 S - V - M 分类器进行新闻自动分类

该方法的架构包含六个主要模块：预处理、呈现、存储、S - V - M、用户注册和网页检索。
- 网页检索模块 ：使用爬虫机器人从新闻网站下载在线文章和新闻。
- 预处理模块 ：包括文本分隔器、文档预处理器和文本向量生成器。文档预处理器会去除通用词，将剩余内容交给向量生成器，使用 tf idf 生成向量，最终产品会进入 S - V - M 模块。
- 存储模块 ：有三个新闻数据库、路透社测试集和系统数据库。新闻数据库存储从新闻网站下载的新闻特征，如日期、地址和新闻文本；系统数据库存储用户信息和相关群组信息；路透社测试集用于训练 S - V - M 网页分类器。
- S - V - M 模块 ：是一个二进制分类器，包