15.python爬虫—Requests

15.1 网络爬虫基础知识

• 网络爬虫概述
  • 网络爬虫是一个自动提取网页的程序，模拟客户端发送网络请求，接收请求响应，一种按照一定的规则，自动地抓取互联网信息的程序。
• 网络爬虫分类
  • 批量型爬虫
    • 批量型爬虫有明确的抓取范围和目标，当爬虫达到这个设定的目标后，即停止抓取过程。
  • 增量型爬虫
    • 增量型爬虫会持续不断的抓取，对于抓取的网页，要定期更新。通用的商业搜索引擎爬虫基本都属于此类。
  • 垂直型爬虫
    • 垂直型爬虫关注特定主题内容或者属于特定行业的网页，其他主题或者其他行业的内容不再考虑范围

15.2 爬虫结构

• Robots协议：网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪 些页面不能抓取。

15.3 Http协议

• HTTP协议（HyperText Transfer Protocol，超文本传输协议）
• HTTP是一个基于TCP/IP通信协议来传递数据（HTML 文件, 图片文件, 查询结果等）
• HTTP是无连接
• HTTP是媒体独立的
• HTTP是无状态
  
  

15.4 Http头和主体

• 一个http请求代表客户端浏览器向服务器发送的数据。一个完整的http请求消息，包含一个请求行，若干个消息头（请求头），换行，实体内容
• 请求行：描述客户端的请求方式、请求资源的名称、http协议的版本号。 例如： GET/BOOK/JAVA.HTML HTTP/1.1
• 请求头（消息头）包含（客户机请求的服务器主机名，客户机的环境信息等）：
  • Accept：用于告诉服务器，客户机支持的数据类型 （例如：Accept:text/html,image/*）
  • Accept-Charset：用于告诉服务器，客户机采用的编码格式
  • Accept-Encoding：用于告诉服务器，客户机支持的数据压缩格
  • Accept-Language：客户机语言环境
  • Host:客户机通过这个服务器，想访问的主机名
  • If-Modified-Since：客户机通过这个头告诉服务器，资源的缓存时间
  • Referer：客户机通过这个头告诉服务器，它（客户端）是从哪个资源来访问服务器的（防盗链）
  • User-Agent：客户机通过这个头告诉服务器，客户机的软件环境（操作系统，浏览器版本等）
  • Cookie：客户机通过这个头，将Coockie信息带给服务器
  • Connection：告诉服务器，请求完成后，是否保持连接
  • Date：告诉服务器，当前请求的时间
• 一个http响应代表服务器端向客户端回送的数据，它包括：
  • 一个状态行，若干个消息头，以及实体内容
• 响应头(消息头)包含:
  • Location：这个头配合302状态吗，用于告诉客户端找谁
  • Server：服务器通过这个头，告诉浏览器服务器的类型
  • Content-Encoding：告诉浏览器，服务器的数据压缩格式
  • Content-Length：告诉浏览器，回送数据的长度
  • Content-Type：告诉浏览器，回送数据的类型
  • Last-Modified：告诉浏览器当前资源缓存时间
  • Refresh：告诉浏览器，隔多长时间刷新
  • Content-Disposition：告诉浏览器以下载的方式打开数据。例如：context.Response.AddHeader(“ContentDisposition”,“attachment:filename=aa.jpg”); context.Response.WriteFile(“aa.jpg”);
  • Transfer-Encoding：告诉浏览器，传送数据的编码格式
  • ETag：缓存相关的头（可以做到实时更新）
  • Expries：告诉浏览器回送的资源缓存多长时间。如果是-1或者0，表示不缓存
  • Cache-Control：控制浏览器不要缓存数据 no-cache
  • Pragma：控制浏览器不要缓存数据 no-cache
  • Connection：响应完成后，是否断开连接。 close/Keep-Alive
  • Date：告诉浏览器，服务器响应时间
  • 状态行： 例如： HTTP/1.1 200 OK （协议的版本号是1.1 响应状态码为200 响应结果为 OK）

15.5 Python中HttpRequest实现

• Requests实现：是Python爬虫开发中最为常用的方式。Requests库是第三方模块，需要额外进行安装
  • pip
  • install
  • requests

In：

pip install requests

out：

Requirement already satisfied: requests in d:\programdata\anaconda3\lib\site-packages (2.22.0)
Requirement already satisfied: chardet<3.1.0,>=3.0.2 in d:\programdata\anaconda3\lib\site-packages (from requests) (3.0.4)
Requirement already satisfied: certifi>=2017.4.17 in d:\programdata\anaconda3\lib\site-packages (from requests) (2019.9.11)
Requirement already satisfied: idna<2.9,>=2.5 in d:\programdata\anaconda3\lib\site-packages (from requests) (2.8)
Requirement already satisfied: urllib3!=1.25.0,!=1.25.1,<1.26,>=1.21.