一种面向搜索引擎的网页分块、切片的原理，实现和演示

一种面向搜索引擎的网页分块、切片的原理，实现和演示

最近看到 2005 年的 全国搜索引擎和网上信息挖掘学术研讨会 上 华南木棉信息检索的队长 欧健文 的 华南木棉信息检索 的ppt。很有启发。

于是自己也根据自己的理解准备做一个实现。
实现前提假设：
1、网页分块切分的基本单位是html中的table , div 等标签（目前版本只支持：table ,div 标签）。
2、网页分块切片识别依赖于相似url的对比。比如：我们认为一下两个url的网页html文本结构相似：
http://news.soufun.com/2005-11-26/580107.htm
http://news.soufun.com/2005-11-26/580175.htm
而下面两个url的网页结构不相似：
http://news.soufun.com/subject/weekly051121/index.html
http://news.soufun.com/2005-11-26/580175.htm

用途：
1、根据分析网页结构区分网页是 主题型网页 还是 目录型网页；
2、根据分析网页结构 找出 网页的 主题内容，相关内容和噪音内容；

实现的3个阶段：
1、对网页结构进行合理切片；
2、比较相似网页的切片结构；
3、分析切片数据，得出结论。
演示地址：
http://www.domolo.com:8090/domoloWeb/html-page-slice.jsp