提高搜索引擎的效率的几个弊端
在试图努力提高搜索引擎的效率时,以下三点需要特别的注意:
1.即使是一台计算机来搜集网页,也应该注意并发性的开发和利用
考虑并发性通常从下面两个方面进行思考:
1)采用多线程的机制
2)利用操作系统的异步通信机制,让多个网络通信时间重叠起来。
2.并不是设备越多越好
原因,带宽是瓶颈,若采用分布式的,维护也很困难
3.服务器方可能来不急提供所需的网页
若搜索引擎太频繁的而对他们发出网页请求,是他们来不及提供的一个原因之一,所以这也要求搜索引擎有一个很好的访问策略以及URL计划,不要让搜索引擎集中在少数几个网站中。