1、网页数据管理：仓库方法的探索与实践

网页数据管理：仓库方法的探索与实践

1. 网页数据管理的背景与挑战

随着互联网的发展，不同的自主网站包含着相关信息，但如何有效地整合这些来源，以提供全面的相关信息集成源，成为了一个亟待解决的问题。电子商务的兴起和商业数据在网络上的日益普及，使得企业需要分析和处理这些数据来支持决策。据预测，未来几年，大部分人类信息将在网络上获取。然而，网络的发展速度惊人且缺乏一致的组织，变得越来越混乱。

传统的信息检索技术虽然被应用于互联网文档收集，也有众多搜索引擎和工具被提出和实施，但这些技术有时耗时、费力，结果也不尽如人意。因此，需要开发高效的工具来分析和管理网页数据。

1.1 网页仓库的作用

网页仓库作为信息服务器，支持信息收集，并能提供个性化、摘要、转码和知识发现等增值服务。它还可以作为共享信息库，在公司内部构建共享网页仓库，能最大限度地促进有共同兴趣的用户之间的信息、知识和经验共享。

用户可以通过PDA和手机等设备访问仓库数据。由于这些设备的渲染能力与桌面计算机不同，网页内容需要进行适配或转码，以在各种客户端设备上正确显示。对于大型文档，如高质量图片或视频文件，在发送完整版本之前先向客户端发送小片段是合理且高效的。此外，网页仓库通过集成搜索引擎、过滤和聚类技术，支持自动资源发现。

1.2 网页数据变化带来的问题

网页上的信息（内容和结构修改）随时可能以任何方式改变或消失。如果不存储和存档这些不断演变的页面，我们将随着时间的推移失去一些有价值的知识。这些信息的快速且往往不可预测的变化或消失，带来了检测、表示和查询这些变化的新问题。

由于网络中的信息源是自主的，基于触发机制的传统数据库