16、网页骨架提取算法详解

网页骨架提取算法详解

1. 引言

在当今数字化时代，互联网已经成为信息的主要来源。公共网站上存在海量信息，这些信息通常以易于手动浏览的方式呈现。然而，为了让这些信息也能被软件程序访问，研究人员致力于开发能够自动识别并从网页中提取用户感兴趣信息的软件系统，即所谓的“包装器”。包装器可以将提取的数据转换为结构化格式，从而便于进一步处理和分析。

尽管许多包装器生成系统已经在页面级别上取得了显著进展，但在网站级别上的数据提取仍然是一个手动或半自动的过程。网站内的页面通常形成某种连贯的结构，这反映了不同页面中信息之间的隐含逻辑关系。因此，提取隐藏在网站网页间相互链接背后的隐含结构，并将这种结构与页面内容一起准备用于包装器生成任务，是非常有吸引力的。

2. 网页骨架的概念

网页骨架（Website Skeleton）是指用于组织给定网站内容页面的底层超链接结构。我们假设一个网站只有一个骨架，并且这个骨架呈树状结构，其中叶节点是内容页面，内部节点是导航页面，包含指向其子节点的链接，这些子节点可能是其他导航页面（内部节点）或内容页面（叶节点）。由于导航页面也可能包含核心内容，内部节点也可能是内容页面。

2.1 网页骨架提取问题

网页骨架提取问题可以简单定义为：给定一个网站，找到其骨架。为了区分不同类型的包装器，我们将那些从网站中提取信息的包装器称为站点级包装器（site-level wrappers），而那些仅从一个（内容）页面中提取数据的包装器称为页面级包装器（page-level wrappers）。

3. Sew算法

Sew算法是一种用于自动发现网站骨架的算法。该算法通过递归方式