用selenium爬取京东平台商品列表,爬取商品名称、价格、店铺信息

最新推荐文章于 2024-07-16 11:45:11 发布

hikari_chan

最新推荐文章于 2024-07-16 11:45:11 发布

阅读量1.2k

点赞数

分类专栏：爬虫

本文链接：https://blog.youkuaiyun.com/hikari_chan/article/details/116430329

版权

本文介绍如何利用selenium库爬取京东网站上的商品列表信息，包括商品名称、价格和店铺名称。通过模拟浏览器行为，绕过反爬机制，获取到实时的商品数据。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

#用selenium爬取京东平台商品列表,爬取商品名称、价格、店铺信息

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.remote.webelement import WebElement
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.wait import WebDriverWait
import time
from selenium.webdriver import ActionChains
from urllib.parse import quote
import requests
from bs4 import BeautifulSoup
from pyquery import PyQuery as pq
import pymongo

max_page=10
browser = webdriver.Chrome()
#构造URL https://search.jd.com/Search?keyword=iphone

wait = WebDriverWait(browser, 10)#显式等待

keyword =