python +Selenium 爬取淘宝商品评论

本文介绍了如何使用Python和Selenium库克服淘宝的反爬机制,通过保存登录后的cookie来模拟登录,进而成功爬取商品的评论详情。步骤包括新建淘宝.py来保存cookie,以及使用爬取.py实现具体爬虫操作。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

第一步

现在淘宝防爬取做的比较好,如果直接爬的话总是出现登陆界面。从而获取不到信息。
解决办法,新建 淘宝.py

import json
from selenium import webdriver
from selenium.webdriver.firefox.options import Options

options = Options()
dirver = webdriver.Firefox(firefox_options=options)
dirver.get(
    'https://login.taobao.com/member/login.jhtml?redirectURL=http%3A%2F%2Fbuyertrade.taobao.com%2Ftrade%2Fitemlist%2Flist_bought_items.htm%3Fspm%3D875.7931836%252FB.a2226mz.4.66144265Vdg7d5%26t%3D20110530')
# 这里是为了等待手机扫码登录, 登录后回车即可
input("请回车登录")
dictCookies = dirver.get_cookies()
jsonCookies = json.dumps(dictCookies)
# 登录完成后,将cookies保存到本地文件
with open("cookies_tao.json", "w") as fp:
    fp.write(jsonCookies)

用来保存你登陆后的cookie。

第二步

用你保存下来的cookie实现登录,爬取商品的评论信息
新建爬取.py

import json
import time
from selenium import webdriver
from sele
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值