Python爬虫原理和网页构造

###爬虫原理###

计算机的一次Request请求和服务器端的Response回应,即实现了网络连接。

Request(请求头和消息体) 

------------------------------------------------------->

    【计算机】                    【服务器】

 <------------------------------------------------------

Response(HTML文件)

#以上便是：网络连接原理                    

一、多页面爬虫流程

1>手动翻页并观察个网页的URL构成特点,构造出所有页面的URL存入列表中

2>根据URL列表依次循环取出URL

3>定义爬虫函数

4>循环调用爬虫函数,存储数据

5>循环完毕,结束爬虫程序

二、跨页面爬虫流程

1>定义爬取函数爬取列表页的所有专题URL。

2>将专题URL存入列表中(种子URL)。

3>定义爬取详细页数据函数。

4>进入专题详细页面爬取详细页数据。

5>存储数据,循环完毕,结束爬虫程序。

 

####网页构造####