Day1--学习get与post请求

1.学习get与post请求，尝试使用requests或者是urllib用get方法向https://www.baidu.com/发出一个请求，并将其返回结果输出。

在Http协议中，定义了八种请求方法。这里介绍两种常用的请求方法，分别是get请求和post请求。

1. get请求：一般情况下，只从服务器获取数据下来，并不会对服务器资源产生任何影响的时候会使用get请求。
2. post请求：向服务器发送数据（登录）、上传文件等，会对服务器资源产生影响的时候会使用post请求。
   以上是在网站开发中常用的两种方法。并且一般情况下都会遵循使用的原则。但是有的网站和服务器为了做反爬虫机制，也经常会不按常理出牌，有可能一个应该使用get方法的请求就一定要改成post请求，这个要视情况而定。

request方法

import requests
#定义访问的url
url = "http://www.baidu.com/"
#访问的方法
geturl = requests.get(url)

print(geturl)
#输出响应内容，返回Unicode格式的数据
print(geturl.text)

urllib方法

from urllib import request
geturl = request.urlopen('http://www.baidu.com')

#读取所有
print(geturl.read())
#输出状态码
print(geturl.status)
print(geturl.headers)

2. 如果是断开了网络，再发出申请，结果又是什么。了解申请返回的状态码。

断开网络再运行会发生错误。

常见的状态码：

• 200：请求正常，服务器正常的返回数据。
• 301：永久重定向。
• 302：临时重定向。比如在访问一个需要登录的 页面的时候，而此时没有登录，那么就会 重定向到登录页面。
• 400：请求的url在服务器上找不到。换句话说就是请求url错误。
• 403：服务器拒绝访问，权限不够。
• 404：请求失败，请求所希望的资源未被在服务器上发现。
• 500：服务器内部错误。可能是服务器出现bug了。

3.了解什么是请求头，如何添加请求头

在http协议中，向服务器发送一个请求，数据分为三部分，第一个是把数据放在url中，第二个是把数据放在body中（在post请求中），第三个就是把数据放在head中。下面是一些请求头参数，经常会用到的是：Referer、Cookie、User-Agent

• Accept：浏览器可接受的MIME类型。
• Accept-Encoding：浏览器能够进行解码的数据编码方式，比如gzip。Servlet能够向支持gzip的浏览器返回经gzip编码的HTML页面。许多情形下这可以减少5到10倍的下载时间。
• Accept-Charset：浏览器可接受的字符集。
• Accept-Language：浏览器所希望的语言种类，当服务器能够提供一种以上的语言版本时要用到。
• Authorization：授权信息，通常出现在对服务器发送的WWW-Authenticate头的应答中。
• Connection：表示是否需要持久连接。
• Content-Length：表示请求消息正文的长度。
• Referer：表明当前这个请求是从哪个url过来的。这个一般也可以用来做反爬虫技术。如果不是从指定页面过来的，那么就不做相关的响应。
• Cookie：http协议是无状态的。也就是同一个人发送了两次请求，服务器没有能力知道这两个请求是否来自同一个人。因此这时候就用cookie来做标识。一般如果想要做登录后才能访问的网站，那么就需要发送cookie信息了。
• User-Agent：浏览器名称。这个在网络爬虫中经常会被使用到。请求一个网页的时候，服务器通过这个参数就可以知道这个请求是由哪种浏览器发送的。如果我们是通过爬虫发送请求，那么我们的User-Agent就是Python，这对于那些有反爬虫机制的网站来说，可以轻易的判断你这个请求是爬虫。因此我们要经常设置这个值为一些浏览器的值，来伪装我们的爬虫。

可以传入header参数来增加请求头，例如：

headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36"}

另外浏览器名称也可以从nginx日志中获取：浏览器访问nginx转发的服务会记录有浏览器的信息