Python3爬虫——带参数访问页面（以豆瓣为例）

我们之前在百度图片下载器、个性签名设计器等博文中都有用到将参数发送给服务器，然后返回我们需要的结果，但是两者不同的是，图片下载器我们使用了非常简单粗暴的拼接方法，但是个性签名设计器则使用了发送参数请求的方式，两者看起来肯定是带参数访问来的高端和正规，那我们今天就来讲解一下，如何带参数访问页面；

首先我们先打开豆瓣官网：https://www.douban.com/，然后调出Network；

我们来随便搜索一步电影，看看会有什么变化：

我们看见，已经把我不是药神这部电影的搜索结果显示出来了，Network中也显示接收了很多数据，我们拉到最上面，这一条就是我们发送访问请求的数据，我们点开看看有些什么东西：

请求地址：我们大概可以猜出来，就是豆瓣的搜索地址加上请求内容（我们后面再参数那边详细看）
请求方式：GET请求

中间的请求头什么的，我们先不管，直接看最下面的，这个就是我们请求的参数，我们对应上面的请求地址，看见“？”后面貌似就是两个参数的值（对于%E6...，就是URL对于中文的转码，这个不清楚的，可以看Python爬虫（三）——百度图片下载器）那么这个q就是用来接收我们输入的关键字的；

现在我们需要的信息都已经知道了，上手代码来看看：

import requests

params = {    # 用来保存我们需要传参的数据
    'q': '叶问'
}

header = {    # 保存我们的头信息，下面的就是我们的用户表示，一般将这个修改掉就好了，不然默认是机器人
              # 有些网页是有反爬虫的机制，看见是机器人就会禁止访问
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36'
}

url = 'https://www.douban.com/search'    # 注意，这个地址就是我们刚才分析的请求地址，？之前就好
result = requests.get(url,headers=header,params=params)    # 之前我们就是给url直接访问的，headers用来接收头信息
                                                           # params就是请求参数
result.encoding = result.raise_for_status()    # 设置编码格式
html = result.text    # 返回网页源码
print(html)

ok，到这里我们已经完成了，带参数访问页面，并获取源码的步骤，有些细心的同学可能发现，我们之前在做个性签名设计器的时候，里面也有传参，但是传参是是data，那为什么这里是params呢？
我们先来回一下，之前艺术签名设计网站的结构：

我们发现之前的网站请求方式是POST请求，下面传参就是data，那么我们暂且这么记忆，get请求传参就是使用params，post请求就是使用data，如果不记得，看下传参那边是什么就好：

我们可以看一下requests的get()方法，它是怎么定义的：

我们通过方法原型可以看见，get()方法它的传参属性就是params，它是一个可选参数，可以接收：字典、元组列表或要在请求查询字符串中发送的字节，我们在上面就是以字典的形式传参的；

我们再来看一下post()方法的定义：

通过方法原型我们可以看见，两者是有区别的，这里接收数据传参的是data或者json，data 也是可选项，可以接收：字典、元组列表、字节或类似文件的对象，用于在Request的正文中发送；json接收的就是JSON数据发送到Request的主体中；