Selenium爬取京东数据

夏宇夏夜

于 2019-07-11 17:11:11 发布

阅读量423

点赞数

分类专栏：爬虫文章标签：爬虫京东 selenium mongodb

本文链接：https://blog.youkuaiyun.com/qq_42540538/article/details/95492110

版权

本文介绍了如何利用Selenium爬虫工具配合Chrome浏览器，通过CSS选择器定位页面元素，搜索京东美食页面并进行翻页。在解析每个页面后，数据被存储到MongoDB数据库中。在解析过程中，遇到子标签内容提取和excract_first()的使用问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

导入必要的包

这些包我是记不住了，看来每次用都要来看一下

from selenium import webdriver
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.common.exceptions import TimeoutException
from lxml import etree
import time
import pymongo

启动Chrome

将phantomjs放到环境变量里后，同样可以用
wait是简写，方便之后调用
此时可以打开chrome

broswer = webdriver.Chrome()
broswer.maximize_window()
wait = WebDriverWait(broswer,10)

搜索美食页面

By.CSS_SELECTOR是指通过选择器selector，选定位置，引号中内容为网页中复制该位置的selector
先找到输入框的位置，在找到可以点击确定的位置
total为总页数

def search():
    broswer.get("https://www.jd.com")
    try:
        input = wait.until(
            EC.presence_of

最低0.47元/天解锁文章