Selenium 模拟登录淘宝，获取cookies给requests使用

原创

已于 2022-03-09 20:11:20 修改 · 3.1k 阅读

21 ·

CC 4.0 BY-SA版权

文章标签：

#selenium #python #爬虫

于 2022-03-09 10:22:08 首次发布

本文介绍了如何在Python中使用Selenium模拟登录淘宝网站，并获取登录后的cookies供requests库使用，以解决爬虫遇到的登录拦截问题。通过运行SeleniumGetCookies类的run()函数，可以得到session。

文章目录

前言
代码
总结

前言

今天爬取淘宝商品图片，遇到登录拦截，看了淘宝的登录 url 里的请求参数，好多加密，果断放弃。
不过可以用selenium模拟登录，然后获取cookies给requests使用，开整。

代码

from selenium import webdriver
from selenium.webdriver.support import wait
from selenium.webdriver.common.by import By
import requests
from requests.cookies import RequestsCookieJar
from fake_useragent import UserAgent


class SeleniumGetCookies:
    def __init__(self, user, pwd):
        self.user = user
        self.pwd = pwd

        ua = UserAgent()
        headers = {
   
   
            'User-Agent': ua.random
        }
        self.session = requests.Session()
        self.session.headers.update(headers)
		
		# 配置chrome，绕过淘宝的检测
        option = webdriver