使用python爬取淘宝商品信息

淘宝商品信息爬虫实战

最新推荐文章于 2024-09-04 10:43:34 发布

原创

最新推荐文章于 2024-09-04 10:43:34 发布 · 2k 阅读

12 ·

CC 4.0 BY-SA版权

文章标签：

#selenium #python

本文介绍了一种使用Python和Selenium爬取淘宝商品详细信息的方法，包括商品名、价格、销量、店铺名及地址，并将数据保存至CSV文件。通过多线程可提升爬取效率。

使用python爬虫爬取淘宝商品信息

使用的模块主要有 selenium ，time ， re，

from selenium import webdriver
import time
import csv
import re
def search_product(key): 
    driver.find_element_by_id('q').send_keys(key)   # key为传的形参
    driver.find_element_by_class_name("btn-search").click()  # 点击搜索按钮
    driver.maximize_window()   # 窗口最大化
    time.sleep(15)
    page = driver.find_element_by_xpath("//div[@class='m-page g-clearfix']").text  # 提取最大页码数
    page = re.findall('(\d+)', page)[0]   # 提取当前页
    return page  # 返回page

def get_product():
    divs = driver.find_elements_by_xpath("//div[@class='items']/div[@class='item J_MouserOnverReq  ']")  # 把每个商品按照div分类
    for div in divs:
        info = div.find_element_by_xpath(".//div[@class='row row-2 title']/a").text   # 获取商品信息
        price = div.find_element_by_xpath(".//strong").text + "元"        # 获取商品价格
        buyer_nums = div.find_element_by_xpath(".//div[@class='deal-cnt']").te