一、requests_html 基本介绍
A、装库: pip install requests_html
B、介绍: requests 和 requests_html 是同一个作者
二、requests_html 基本使用
A、导包: from requests_html import HTMLSession
B、使用: session = HTMLSession()
三、发送带有参数的请求
params = {
}
requests.get(url, params=params)
四、图片抓取实战案例
案例实战:使用requests_html库抓取图片
部分效果如图所示:
附上部分代码如下:
import os
from requests_html import HTMLSession
class BdtpSpider(object):
def __init__(self):
'''
1、初始化部分
'''
self.keyword = '风景'
self.session = HTMLSession()
self.start_url = ''
self.headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/99.0.4844.51 Safari/537.36'
}
def confrim_params(self):
'''
2、确认请求参数
'''