2-Requests库的使用

【Python3网络爬虫】2-Requests库的使用

介绍

对了解爬虫的一些基本理念，掌握爬虫爬取的流程后，我们需要学习一些更加高级的工具和内容来方便我们的爬取，本节主要介绍requests库的基本用法

安装

pip insatll requests

基本请求

import requests
# requests.api
url = "http://www.baidu.com"
requests.get(url)
requests.options(url)
requests.head(url)
requests.post(url)
requests.put(url)
requests.patch(url)
requests.delete(url)

自定义请求头,超时，代理

import requests
from fake_useragent import UserAgent

url = "http://www.baidu.com"
headers = {
    'User-Agent': UserAgent().chrome
}
proxies = {
    "http": '218.75.158.153:3128'
}

session = requests.Session()
# 禁用安全请求警告
requests.packages.urllib3.disable_warnings()
"""
    @:param headers
        请求头设置
    @:param timeout
        超时设置，单位S
    @:param proxies
        代理设置
"""
resp = session.get(url=url, verify=False, headers=headers, timeout=10, proxies=proxies)
print(resp)