本文介绍了一种针对Heritrix爬虫的改进方法，通过调整其内部正则表达式来增强对含有中文字符URL的支持。具体实现涉及对源码中特定类的修改。
Heritrix对中文支持不够,比如URL中有中文的URL肯定抽取不到,但这个改动部分代码页就是它的正则表达式即可
解决方法
修改org.archive.crawler.extractor.ExtractorJS类
把
static final String STRING_URI_DETECTOR = "(?: \\w|[\\.]{0,2}/)[\\S&&[^<>]]*(?:\\.|/)[\\S&&[^<>]]*(?:\\w|/)";
改为
static final String STRING_URI_DETECTOR = "(?: \\w|[\\.]{0,2}/)[\\S&&[^<>]]*(?:\\.|/)[\\S&&[^<>]]*(?:\\S|/)";
解决方法
修改org.archive.crawler.extractor.ExtractorJS类
把
static final String STRING_URI_DETECTOR = "(?: \\w|[\\.]{0,2}/)[\\S&&[^<>]]*(?:\\.|/)[\\S&&[^<>]]*(?:\\w|/)";
改为
static final String STRING_URI_DETECTOR = "(?: \\w|[\\.]{0,2}/)[\\S&&[^<>]]*(?:\\.|/)[\\S&&[^<>]]*(?:\\S|/)";
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
