本周任务备忘:
1、网页内repeatable pattern的自动识别,block repeat script,block repeat的crawl.
[repeatable pattern的detect算法通过对抽象出来的模型使用动态规划已经解决,复杂度O(m+n),已做了一些试验,效果很好]
2、网页中pagination的自动识别,建立pagination模型,dectect Next Page Link,网页间的
repeatable pattern的自动识别,page repeat script,page repeat crawl.
[由于网页的分页方式比较多,只建立了简单的模型,仍未实现自动识别,用户仍需自己标示出pagination block,可以生
成page repeat script,可以进行crawl,用户需要参与的操作已经很少]
本文介绍了一种网页元素自动识别技术,包括repeatablepattern和pagination的自动检测算法。repeatablepattern通过动态规划实现,复杂度为O(m+n),效果良好。pagination方面虽未完全自动化,但已能显著减少用户操作。
416

被折叠的 条评论
为什么被折叠?



