随想随思2

其实呢，我这人就是太浮夸，每次都是看见好书都是借回来不看，结果是良心后发现立马还回去。但是总是对它们念念不忘。今天偶然兴起再次将其中之一入手，只看不借回来(要看的话，下面的内容可能很难理解，主要原因是本人笔搓，思路没有理清)。
        今天看到网络搜索里面的爬虫程序，讲的是爬虫是如何收集和下载网页的。看到里面的内容就联想到一个问题，当你想搜索某个网页里面的独一无二的内容时，为什么不同的搜索引擎，有的可以搜索到，有的却不可以呢？当时的内容是，由于不同的网页的程序员写的程序语法不一样，爬虫找不到有些URL，就没有下载那些URL链接的网页，所以服务器没有，搜索引擎就不能给你，我才是这样，当然，这一定是一部分原因。因为我什么也不懂。
        讲到爬虫是手机网页和下载网页到服务器里面的程序，为了防止冗余性，服务器就得避免重复下载，所以他们呢都是将已经下载到服务器上的网页的地址存储到一个哈虚表中。为此，先百度为例。百度的爬虫先找到一个网页，然后发现里面有些URL链接，然后就会访问服务器，看看这个链接地址的网页是否已经下载没有就下载，然后将该网页的地址存放到那个哈虚表中；否则不下载，跳过。
当一个服务器管理一个哈虚表，对于较少的访问，还上可以应付的；就相当于昌北调度来说，就昌北那么几个分布式区域电话还不至于打到爆的程度。但是 前提是：那些服务器都是分布式的结构的。对于百度的服务器所存的网页数目而言，一个服务器是不能管理那张哈虚表的。那么应该如何让分布式的服务器一起管理那张统一的哈虚表呢？
        应该如何管理那张哈虚表来提高百度所有的服务器的访问效率呢？
        我回来的路上一直在想，我就联系了一下身边的事例：昌北调度。
        移动的宽带，在一个大的区域里划分成几个区域，来管理。那么负责存储哈虚表的服务器也应该是分布设置。比如让中国的管中国的哈虚表，模棱两可的设置缓冲区域。想起网络课程的不同的局域网访问时路由器里面的那个表（不知道叫啥表），那存储中国网页的哈虚表是不是也像BGP（里面是将边界路由器设置成管理员）一样将中国与存储外国网页的服务器链接之间的边界服务器设置为存储中国网页的哈虚表的链接的服务器呢？
        这只是猜想，Something stupid!  
      2013.11.07
我当时就差方法没看，其他都看完了，主要是留点东西让自己去思考。昨天看了下作者的推荐方法，思路差不多。坐着的思路也是使用调度的方式：在存放哈虚表的分布式服务器中，让特定的服务器去下载特定URL以及特定的网页. 

       如果是看过本书的也应该知道我说的是哪本书。