lhs322的博客

爬虫的基本概念1.   网络爬虫的组成网络爬虫由控制结点、爬虫结点、资源库构成，如图1 所示：图1 网络爬虫的控制节点和爬虫节点结构的关系可以看到，网络爬虫中可以有多个控制节点，每个控制节点下可以有多个爬虫节点，控制节点之间可以互相通信，同时，控制节点和其下的各爬虫节点之间也可以进行互相通信，属于同一个控制节点下的各爬虫节点间，亦可以互相通信。控制节点，也叫做爬虫的中央控制器，主要负责根据URL地...

网络爬虫的实现原理及技术1.   网络爬虫实现原理以两种爬虫为例，讲解网络爬虫的实现原理。1)       通用网络爬虫图1 通用网络爬虫实现原理及过程见图1，通用网络爬虫的实现原理及过程可以简要概括为：         i.           获取初始URL。初始的URL地址可以由用户人为指定，也可以由用户指定的某个或某几个初始爬去网页决定。        ii.           根据初始...