requests模块是一款基于网络请求的python三方库,具有功能强大,简单便捷,效率较高的特点。其功能在于模拟浏览器发请求。
1、requests基本功能
import requests
#1、准备请求地址
url = '<https://cd.zu.ke.com/zufang>'
#2、发送请求
#requests.get(url) -对指定地址发送请求,得到服务器返回的数据响应
response = requests.get(url)
#3、获取请求结果
result = response.text
print(result)
2、requests详解
安装:pip install requests -i https://pypi.doubanio.com/simple
2.1 爬虫实现步骤
-
指定url
-
基于requests模块发送请求
-
获取服务器响应数据
-
持久化存储
import requests
# 1、准备请求地址
url = '<https://cd.zu.ke.com/zufang>'
# 2、发送请求
response = requests.get(url)
print(response)
# 3、获取响应内容
# 1)获取响应头(响应头包含了返回数据的基本信息)
print(response.headers)
# 2)获取状态码
print(response.status_code)
if response.status_code == 200:
pass
else:
pass
# 3)修改编码方式 -如果请求乱码就修改
# 注意:乱码的时候修改编码方式,必须在获取请求结果之前
response.encoding = 'utf-8'
# 4)获取请求结果
# a、响应对象.text -返回字符串类请求结果(请求地址是网页地址)
print(response.text)
# b、响应对象.content -返回二进制类型(bytes)的请求结果(请求地址是文件地址、图片、视频、音频)
# c、响应对象.json() -返回值根据json数据格式的不同可能不一样(针对请求地址是json数据接口)
2.3 常用属性/方法
请求属性/方法
属性/方法 | 描述 |
---|---|
requests.get(url,[params],[headers]) | get请求函数,实现get请求 |