基于概率的网页正文页抽取方案

背景：

需要抽取网页的正文页和列表页

 

分析：

1.同一类型的网页其变化的是内容，不变的是样式布局

2.解析dom tree，叶子节点为文本，那么深度遍历全树可以获取其文本值

3.变化的是内容不变的是样式布局，那么可以基于概率构造需要数据的xpath

 

思路：

1.获取所有节点的xpath，保存xpath和文本值

2.遍历n个同类型的网页获取满足某一概率的所有变化的xpath

3.基于xpath生成模板进行网页解析，其对应项通过人工干预方式获取