iicooder的专栏

垂直搜索技术主要分为两个层次：模板级和网页库级。          模板级是针对网页进行模板设定或者自动生成模板的方式抽取数据，对网页的采集也是针对性的采集，适合规模比较小、信息源少且稳定的需求，优点是快速实施、成本低、灵活性强，缺点是后期维护成本高，信息源和信息量小。          网页库级就是在信息源数量上、数据容量上检索容量上、稳定性可靠性上都是网页库搜索引擎级别的要求，和模板方

搜索引擎分为搜索器，索引器，检索器，人机接口四部分。建立索引是个复杂的过程，索引数据库是搜索引擎前端和后端的联系桥梁，可以说起到了管理器的作用。     下面对整个过程做个简要介绍：     (1)搜索器（俗称的网络蜘蛛Robot）从互联网上抓取网页，把网页送入网页数据库，从网页中“提取URL”，把URL送入URL数据库，网络蜘蛛根据得到网页的URL，继续抓取其它网页，反复循环直到把所