selenium和pyquery爬取淘宝美食商品信息

最新推荐文章于 2021-12-15 23:00:22 发布

原创

最新推荐文章于 2021-12-15 23:00:22 发布 · 1.5k 阅读

5 ·

CC 4.0 BY-SA版权

本文介绍了如何使用selenium自动化爬取淘宝美食类商品信息。首先，定义search方法输入关键词并点击搜索，利用WebDriverWait进行页面加载判断。接着，获取总页数并使用正则解析。然后，实现翻页功能，判断翻页是否成功。在解析网页阶段，通过pyquery提取商品信息。最后，将数据存储到mongodb数据库。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1、用selenium自动爬取淘宝美食的商品信息，先定义search方法，该方法用来在搜索框中输入“美食”，然后点击搜索按钮。浏览器加载需要时间，要判断浏览器加载成功再执行下一步的操作，其使用方法可在python-selenium官网查看waits相关的介绍，部分代码复制粘贴即可。设置的条件要在指定的时间内加载出来，否则会抛出异常，使用try回归这个方法。

Input为搜索框，submit为搜索按钮，判断完成后搜索框中输入“美食”，然后点击搜索按钮，最后main方法调用。

from selenium import webdriver
from selenium.common.exceptions import TimeoutException
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

browser=webdriver.Chrome()

def search():
    try:
        browser.get("https://www.taobao.com")
        input = WebDriverWait(browser, 10).until(EC.presence_of_element_located((By.CSS_SELECTOR, "#q")))
        submit = WebDriverWait(browser, 10).until(EC.element_to_be_clickable((By.CSS_SELECTOR, "#J_TSearchForm > div.search-button > button")))
        input.send_keys("美食"