9、网络爬虫技术全解析

网络爬虫技术全解析

1. 网络爬虫概述

1.1 网络爬虫的概念内涵

网络爬虫，常被称为爬虫，是搜索引擎的重要组成部分。随着信息技术的飞速发展，作为搜索引擎的组件，网络爬虫一直是热门研究话题，其发展直接决定着搜索引擎的未来。对网络爬虫的研究包括对网络搜索策略特点和网络分析算法的研究，其中网络爬虫的网络搜索主题是一个研究方向。根据一些网络分析算法，过滤掉无关链接，连接到符合条件的网页，并将其放入队列供网络爬虫抓取。

如果把互联网比作一张蜘蛛网，那么网络爬虫就是在这张网上四处爬行的蜘蛛。网络爬虫通过网页的链接地址来寻找网页，从网站的特定页面（通常是主页）开始，读取网页内容，找到网页中的其他链接地址，然后通过这些链接地址找到下一个网页。这个循环会一直持续，直到爬取完该网站的所有页面。如果把整个互联网看作一个网站，网络爬虫可以利用上述原理爬取所有网页。

1.2 网络爬虫的技术发展

1.2.1 早期发展

• 1989 年，万维网诞生。从技术上讲，万维网和互联网是不同的，前者指信息空间，后者指由多台计算机连接而成的物理网络。万维网有三项主要技术创新：
  1. 统一资源定位符（URL），用户使用它来访问网站。
  2. 用于网页间导航的嵌入式超链接。例如，在产品详情页面中，可以找到产品规格等许多其他信息，如“购买了此产品的客户还购买了某些商品”，这些信息以超链接的形式提供。
  3. 网页不仅包含文本，还包含图像、音频、视频和软件组件。
• 1990 年，第一个网页浏览器诞生，它由万维网的发明者蒂姆·伯纳斯