Python入门实战：网络爬虫实现

1.背景介绍

一、什么是爬虫？

爬虫（英语：Web crawler），也称网络蜘蛛，网络爬虫是一种自动化的程序，它可以访问互联网上的数据并从中提取有用的信息。简单来说，爬虫就是将搜索引擎里的内容复制到自己的网站里，然后再进行修改，形成自己的网页，这样就可以达到快速获取大量信息的目的。

二、为什么要用爬虫？

爬虫能够收集海量数据、深刻洞察大公司运营模式、以及实现自我成为行业第一的可能性。例如，国内知名互联网公司如阿里巴巴、京东、腾讯等都采用了爬虫技术，通过爬虫技术，它们不仅可以收集大量数据，还可以通过爬虫技术获得客户真实意愿、商品销售情况、企业竞争力、产品质量状况等。同时，通过分析爬虫收集的数据，他们也可以找出商机、规划市场策略、提升品牌知名度、制定产品升级策略等。另外，爬虫技术还有助于防范网络安全攻击、分析热点话题、收集大量新闻等。总之，爬虫具有很大的应用价值，是网络时代的信息获取利器。

三、爬虫的分类

根据网络爬虫的任务类型及其数据采集能力不同，通常可分为以下几类：

⒈ 目录型爬虫(Catalog Crawling): 通过检索已知的目录链接或索引页，自动发现其他页面地址并抓