在开发中小型搜索引擎的过程中,我使用由Java开发的开源软件:jspider,htmlparser,lucence,IKAnalyzer,下面我一一道来。
lucence很著名啦,不必多说,我写的这个引擎就是在它自带的demo基础上重构的。
jspider顾名思义,是一个用Java开发的爬虫。
htmlparser是解析html页面的,因为lucene自带的html解析器不够健壮,所以用了这个。
IKAnalyzer是为lucence定做的中文分词组件,在使用中我发现效果不错。
具体的编码下次再说吧,呵呵