基于主题的蜘蛛搜索技术

 

垂直搜索技术是相对通用搜索技术的信息量大、查询不准确、深度不够等提出来的新的搜索服务模式。该技术针对某一特定领域、某一特定人群或某一特定需求，提供的特定价值的信息和相关服务。其特点就是“专、精、深”，且具有行业色彩，相比较通用搜索引擎的海量信息无序化，垂直搜索引擎则显得更加专注、具体和深入。

垂直搜索引擎与通用搜索引擎的主要区别在于其主题针对性、搜索区域特定性。区别的实现最为关键的是搜索蜘蛛实现及其搜索策略的不同，主要表现在以下几个方面：

n        蜘蛛程序可定制主题，只采集和主题相关的内容，形成第一层结构化信息数据库，采集速度超快;

n        装配搜索引擎时，从已有的网页数据库中再次提取信息，形成第二层结构化信息数据库便于下一步建立索引和响应请求，索引建立速度超快;

n        与通用搜索主要采用广度优先不同的是，垂直搜索的网络蜘蛛抓取网页的策略主要是深度优先。

搜索引擎对网络信息的搜索是通过网络蜘蛛漫游网络实现的。网络蜘蛛即Web Spider，它是一个根据URL进行导向读取网络特定信息的程序。网络蜘蛛通过网页的链接地址来寻找网页，从网站某一个页面（通常是首页）开始，读取网页的内容，找到在网页中的其它链接地址，然后通过这些链接地址寻找下一个网页，这样一直循环下去，直到把这个网站所有的网页都抓取完为止。如果把整个互联网当成一个网站，那么网络蜘蛛就可以用这个原理把互联网上所有的网页都抓取下来。基于主题的网络蜘蛛的搜索算法主要采用以下几个步骤：

（1）蜘蛛程序首先从层次1（一般是网站首页地址的列表）开始提取所有的网站链接，把所有网站链接记录到数据库（或数组），并把这些网站链接标识为层次2；

（2）当把层次2全部记录到数据库后，开始从层次2中顺序为第一的（这里指序号为2的网站）网站链接开始提取其下面的所有链接记录到数据库，并把这些网站链接标识为层次3；然后依次把层次为2的网站的所有链接记录到数据库，同时把他们的层次标识为层次3；

（3）当层次3全部记录数据库后，开始从层次3中顺序为第一的网站链接开始提取，依次类推即可。层次1表示为网络种子；把网络种子放在第一层，根据需要可以设置一个或者多个网络种子，通过这个层次图可以看出，低层次的网址就是高层次的网络种子。