Python爬虫_模拟浏览器访问-Requests

有时候爬虫需要加入请求头来伪装成浏览器,以便更好的抓取数据.

打开浏览器Chrome找到User-Agent进行复制

#!/usr/bin/python
# -*- coding: utf-8 -*-
#Author: zhaosj

import requests

headers = {
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.169 Safari/537.36'
}
res = requests.get(
    'https://www.xiaozhu.com/',headers=headers #get方法添加请求头
)
print(res.text)

#执行结果：

Requests库不仅有get()方法,还有post()等方法.post()方法用于提交表单来爬取需要登录才能获得数据的网站.

Requests库的错误和异常主要有以下4种：

1.Requests抛出一个C