Selenium 抓取京东商品信息

最新推荐文章于 2024-11-29 21:19:18 发布

我真的一滴也没有了

最新推荐文章于 2024-11-29 21:19:18 发布

阅读量677

点赞数

CC 4.0 BY-SA版权

分类专栏：爬虫文章标签： selenium

本文链接：https://blog.youkuaiyun.com/weixin_44314661/article/details/103627802

爬虫专栏收录该内容

2 篇文章

订阅专栏

本文介绍如何使用Selenium自动化测试工具进行京东网站的手机搜索功能测试。通过Python脚本实现网页自动化操作，包括输入搜索关键词、点击搜索按钮及获取搜索结果。详细展示了如何定位页面元素并获取商品信息。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

最近学习在学习selenium，更个selenium练习。
首先打开京东网页
在这里插入图片描述大概就是获取到搜索文本框，向文本框架输入文本，然后再获取到搜索文本按钮，点击搜索按钮，进入到下一个页面。
我这里输入的关键词是手机，进入到第二个页面，F12进入调试模式，可以看见网页结构代码，使用xpath获取定位元素节点，根据自己的需要定位吧。这里不做详细介绍，这是最基本的。
直接附上代码，不懂的可以留言。

# -*- coding: utf-8 -*-
#!/usr/bin/env python
# Author:Rabbitkingzzz
from selenium import webdriver
from selenium.webdriver import ActionChains
from selenium.webdriver.common.by import By  # 按照什么方式查找，By.ID,By.CSS_SELECTOR
from selenium.webdriver.common.keys import Keys  # 键盘按键操作
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.wait import WebDriverWait  # 等待页面加载某些元素
import time


def get_goods(driver):
    try:
        goods = driver.find_elements_by_class_name('gl-item')

        for good in goods:
            detail_url = good.find_element_by_tag_name('a').get_attribute('href')
            p_name = good.find_element_by_css_selector('.p-name em').text.replace('\n', '')
            price = good.find_element_by_css_selector('.p-price i').text
            p_commit = good.find_element_by_css_selector('.p-commit a').text

            msg = '''
            商品 : %s
            链接 : %s
            价钱 ：%s
            评论 ：%s
            ''' % (p_name, detail_url, price, p_commit)

            print(msg, end='\n\n')

        button = driver.find_element_by_partial_link_text('下一页')
        button.click()
        time.sleep(1)
        get_goods(driver)
    except Exception:
        pass


def spider(url, keyword):
    driver = webdriver.Chrome()
    driver.get(url)
    driver.implicitly_wait(3)  # 使用隐式等待
    try:
        input_tag = driver.find_element_by_id('key')
        input_tag.send_keys(keyword)
        input_tag.send_keys(Keys.ENTER)
        get_goods(driver)
    finally:
        driver.close()


if __name__ == '__main__':
    spider('https://www.jd.com/', keyword='手机')