Requets库的基本使用方式_art request-优快云博客

本文链接：https://blog.youkuaiyun.com/weixin_44090294/article/details/110576505

本文介绍了request库的安装方法及如何使用get和post方式进行网页抓取。通过实例演示了如何爬取百度主页及使用post请求从有道翻译获取翻译结果。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

request库的安装和使用

一、安装
1.在windows命令行界面或pycharm中在treminal中使用pip install requests 命令即可安装,一般自带。
2.在pycharm中File–Settings–Project Interpeter中点击加号搜索并添加。

二、Requests库的简单使用：
Requests常使用的HTTP方式有两种get和post，其中get可以请求一般界面，当遇到带有表单提交的界面时便需要使用post方法进行爬取。

1.使用get请求方式爬取百度的界面

import requests

url = 'https://www.baidu.com'
# 很多网站都具有反爬的功能，所以我们一般可以使用请求头的方式来规避
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.66 Safari/537.36'
}

res = requests.get(url=url, headers=headers)

code = res.status_code  # 请求状态码200代表请求界面成功
print(res.headers)   #  打印请求界面的请求头
print(res.content)  #  字节字符串形式打印请求界面的内容
print(res.text)  #  打印请求界面的内容
if code == 200:
    #  将请求的界面打印到本地的文件当中去
    with open('./test.html', 'w', encoding='utf-8') as fp:
        fp.write(res.text)

2.使用post请求的方式请求有道翻译的内容

import requests
# 不要直接使用复制的有道翻译url去掉_o参数
url = 'http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule'

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36'
                  ' (KHTML, like Gecko) Chrome/87.0.4280.66 Safari/537.36'
}

data = {
    'i': '你好',
    'doctype': 'json'
}
res = req.post(url=url, headers=headers, data=data)

# 查看请求结果：
if res.status_code == 200:
    print('请求码200，成功')
    # print(res.content)
    # print(res.json())
    res_data = res.json()
    if res_data['errorCode'] == 0:
        print(res_data['translateResult'][0][0]['tgt'])