Python爬虫基础

1. 爬虫简介

• 爬虫：一段自动抓取互联网信息的程序。
  
• 价值：互联网数据，为我所用！
  

2. 简单爬虫架构

Python简单爬虫架构

Python简单爬虫架构的动态运行流程

3. URL管理器

RUL管理器

• 管理待爬取RUL集合和已抓取URL集合。
• 防止重复抓取、防止循环抓取
  

实现方式

1. 内存

如Python中：

• 待爬取URL集合：set()
• 已爬取URL集合：set()

2. 关系数据库

如MySQL：

• urls(url, is_crawled)

3. 缓存数据库

如Redis：

• 待爬取URL集合：set
• 已爬取URL集合：set

4. 网页下载器(urllib2)

网页下载器：将互联网上RUL对应的网页下载到本地的工具。

Python有哪几种网页下载器呢？

• Python官方基础模块：urllib2
• 更强大的第三方包：requests

转载于:https://www.cnblogs.com/onefine/p/10499371.html