网络爬虫

参考我的知乎专栏：网路爬虫

现在从网络爬虫的五个方面开始讲起，即定义，背景，原理，工具，实战。

一：网络爬虫定义

参考：百度百科网络爬虫定义 网络爬虫（又被称为网页蜘蛛，网络机器人，网页追逐者等），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本，跟浏览器一样，是一个web客户端程序，如下图：

网络爬虫

二：网络爬虫背景

计算机网络本质上是一种传播工具，方便人们更好的相互交流。计算机网络将原本世界上各个孤立的网络连接起来，由很多子网络进而形成一个非常大的网络，即万维网。在这个大的网络里，网页也将是成千上万，数不甚数(截止到 2007 年底，Internet 上网页数量超出 160 亿个)，导致人们很难去找到所需要的信息，如何有效地提取并利用这些信息成为一个巨大的挑战。此时，搜索引擎也就出现了, 比如AltaVista，Yahoo!和Google，搜索引擎原理技术如下：