学习爬虫你需要掌握的基础知识——【HTTP请求】

1.请求方法（Request Method）

常用方法：GET 和 POST

GET 和 POST请求方法的主要区别：

（1）GET请求中的参数都包含在URL中，数据可以在URL中看到；而POST请求提交的数据并不包含在URL中，这些数据包含在请求体中提交给服务器。

（2）GET请求提交的数据最多只有1024个字节，而POST请求对提交数据的大小没有限制，所以通常用GET请求提交简单的数据，用POST请求提交复杂数据，例如上传文件。如果要提交敏感数据，如：用户名和密码，一般会使用POST请求。

2.请求链接（Request URL）

请求链接也就是URL，用于指定请求的唯一资源。

3.请求头（Request Headers）

常用请求头字段的作用：

（1）Accept:请求报头域，用于告诉服务端，客户端可以接收什么类型的信息。例如，Accept:text/html表示客户端可以接收HTML格式的信息。

（2）Accept-Charset:指定客户端可接受的编码格式。

（3）Accept-Encoding：指定客户端可接受的内容编码列表。

（4）Accept-Language：指定客户端可接受的语言列表。

（5）Content-Length：指定客户端提交的请求体的大小（以字节为单位）。

（6）Content-Type：请求体的文档类型。

（7）Cookie：存储在本地的数据，通常以key-value形式存储。

（8）Host：服务端的域名和端口号。例如，Host:geekori.com:8080。有时服务端会校验Host字段的值，请求URL中的域名必须与Host字段的值相同，否则会认为是无效请求。

（9）Refereer：用来标识这个请求是从哪个页面发过来的，服务器可以用这一信息做相应的处理。例如，做来源统计，防盗链处理等。

（10）User-Agent：用于表示客户端的操作系统和浏览器版本。服务器可以根据这个字段知道客户端使用的操作系统以及用什么浏览器向服务器端发起的请求。

4.请求体（Request Body)

请求体可以包含任何内容，如果请求是通过表单提交的，那么请求体就是表单的内容，如果是上传文件，那么请求体就是文件的内容（通常会对文件的内容进行base64编码）。

常用Content-Type字段值：

Content-Type	提交的数据类型
application/x-www-form-urlencoded	表单
multipart/form-data	上传的文件
application/json	JSON格式的数据
text/xml	XML格式的数据