《数学之美（第一版）》笔记 —— 第9章

第9章 图论和网络爬虫

• 在网络爬虫中，使用一个“哈希表”的列表来记录网页是否下载过的信息。

• 如何构建一个网络爬虫：

  1）下载网站的顺序：

  • BFS为主（横向，爬取最重要的网页，如首页）

• DFS为次（一次下完整个网站，避免多次握手）

  • 网络爬虫对网页遍历的次序不是简单的BFS或者DFS，而是有一个相对复杂的下载优先排序的方法，管理这个优先级排序的子系统一般称为调度系统（Scheduler）

  2）页面分析和URL提取

  • 解析HTML

  3）记录哪些网站下载过：URL表

  • 提高哈希表服务器的通信：
    • 调度时看到某个URL就知道交给某台服务器去下载，避免很多服务器同时对一个URL做出是否需要下载的判断。
    • 每次哈希表发送一大批询问，更新一大批哈希表内容。减少通信次数。