【Python语言速回顾】——爬虫基础知识

目录

一、爬虫概述

1、准备工作

2、爬虫类型

3、爬虫原理

二、爬虫三大库

1、Requests库

2、BeautifulSoup库

3、Lxml库

---

一、爬虫概述

爬虫又称网络机器人，可以代替人工从互联网中采集、整理数据。常见的网络爬虫主要有百度公司的Baiduspider、360公司的360Spider、搜狗公司的Sogouspider、微软的Bingbot等。

1、准备工作

爬取一个站点之前，需要大致了解站点规模和结构。站点自身的robots.txt和sitemap文件都能为我们提供帮助。
①robots文件：一般大部分站点会自定义自己的robots文件，以便引导爬虫按照自己的意图爬取相关数据。robots文件能使我们了解该站点的限制条件，提升爬取成功率；也可了解到站点结构，使我们有针对性地设计程序。
②sitemap文件：呈现了整个站点的组成结构，可根据需求定位需要的内容；但是该文件可能存在更新不及时或不完整的情况。
③估算站点规模：目标站点的大小会影响爬取的效率，通常可通过百度搜索引擎百度搜索引擎site关键字过滤域名结果，获取相关
统计信息（如在www.baidu.com搜索框输入“site:目标站点域名”）

2、爬虫类型

按照实现的技术和结构可分为通用网络爬虫、聚焦网络爬虫、增量式网络爬虫、深层网络爬虫。实际的网络爬虫系统是由它们组成的。
①通用网络爬虫：又称全网爬虫，主要由初始URL集合、URL队列、页