网络爬虫——简介

爬虫笔记（一）

网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本（参考百度百科）。

一、爬虫分类

爬虫，可分为四大类（通用爬虫、聚焦爬虫、增量式爬虫、深度爬虫）对应不同的需求场景。

1. 通用爬虫
   通用网络爬虫又称全网爬虫（Scalable Web Crawler），爬行对象从一些种子 URL 扩充到整个 Web，这类网络爬虫的爬行范围和数量巨大，对于爬行速度和存储空间要求较高，对于爬行页面的顺序要求相对较低，通常采用并行的工作方式。
   通用网络爬虫的结构通常分为可以分为页面爬行模块 、页面分析模块、链接过滤模块、页面数据库、URL 队列、初始 URL 集合几个部分。