python selenium爬虫爬京东评论_Python 不用selenium 带你高效爬取京东商品评论

最新推荐文章于 2024-06-03 17:46:02 发布

weixin_39973196

最新推荐文章于 2024-06-03 17:46:02 发布

阅读量260

点赞数

文章标签： python selenium爬虫爬京东评论

本文链接：https://blog.youkuaiyun.com/weixin_39973196/article/details/111757074

版权

该博客介绍了如何使用Python的requests库，而非selenium，高效地爬取京东商品评论。通过设置请求头以减少被反爬风险，利用正则表达式匹配评论内容、时间、评分、回复数等信息，并存储在CSV文件中。示例代码详细展示了爬取和解析过程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

代码实现

导入模块和定义常量

import re

import time

import csv

import os

import requests

import html

# 设置请求头

headers = {

'cookie': 'shshshfp=22dd633052035d21be92463ffa35684d; shshshfpa=ab283f84-c40f-9710-db89-84a8d3366a81-1586333030; __jda=122270672.1586333031101106032014.1586333031.1586333031.1586333031.1; __jdv=122270672|direct|-|none|-|1586333031103; __jdc=122270672; shshshfpb=bUe7tI9%2FOOaJKd7vP0EtSOg%3D%3D; __jdu=1586333031101106032014; areaId=22; ipLoc-djd=22-1977-1980-0; 3AB9D23F7A4B3C9B=7XEQD4BFTGEH44EK7LN7HLFCHJW6W2NS5VJOQOCHABZVI7LXJJIW3K2IX5MTPZ4TBERBLY6TRQR5CA3S3IYVLQ2JGI; jwotest_product=99; shshshsID=a7457cee6a4a9fa285fe2cff44c6bd17_4_1586333142454; __jdb=122270672.4.1586333031101106032014|1.1586333031; JSESSIONID=8C21549A613B83F0CB86EF1F38FD63D3.s1',

'sec-fetch-dest&#