Python爬虫爬取淘宝商品信息

最新推荐文章于 2024-08-29 23:23:42 发布

代码拖拉鸡

最新推荐文章于 2024-08-29 23:23:42 发布

阅读量8.4k

点赞数 2

分类专栏： python 网络爬虫

本文链接：https://blog.youkuaiyun.com/qq_38290604/article/details/89306161

版权

本文介绍了如何使用selenium库驱动浏览器访问淘宝页面，手动登录后进行商品信息的爬取。通过分析翻页机制，选择在输入框中输入页码进行翻页，并验证翻页操作的正确性。最后，文章提供了商品信息解析的步骤和完整代码。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

selenium库可以驱动浏览器自动进行页面的访问（代码参考《Python3网络爬虫开发实战》崔庆才著）

1.驱动浏览器访问淘宝页面

browser=webdriver.Chrome()
wait=WebDriverWait(browser,10)
def search():
    try:
        url="https://www.taobao.com"
        browser.get(url)
        #获取输入框
        input = wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, "#q")))
        #获取确定按钮
        submit=wait.until(EC.element_to_be_clickable((By.CSS_SELECTOR,'#J_TSearchForm > div.search-button > button')))
        #在输入款输入关键词
        input.send_keys('美食')
        #点击确定
        submit.click()
        #获取当前商品的总页数
        total=wait.until(EC.presence_of_element_located((By.CSS_SELECTOR,'#mainsrp-pager > div > div > div > div.total')))
        return total.text
    except:
        search()