利用python爬取淘宝的商品图片

该文章已生成可运行项目,

代码

from selenium import webdriver
from selenium.webdriver.common import keys
import time
import requests
import random


# 创建浏览器
def functions():
    browser = webdriver.Chrome(r'G:\taobao\chromedriver.exe')
    # 让浏览器打开淘宝
    browser.get("https://www.taobao.com/")

    # 找到搜索框输入内容并搜索
    browser.find_element_by_xpath('//*[@id="q"]').send_keys("便携果汁杯", keys.Keys.ENTER)
    time.sleep(1)
    # 切换成二维码登录
    browser.find_element_by_xpath('//*[@id="login"]/div[1]/i').click()

    # 判断当前页面是否为登录页面
    while browser.current_url.startswith("https://login.taobao.com/"):
        print("等待用户输入")
        time.sleep(1)

    print("登录成功!!!")
    n = 1
    count = 1

    while True:
        items = browser.find_elements_by_css_selector('.m-itemlist .items > div')
        for item in items:
            # 获取这张图片的下载地址
            img = item.find_element_by_css_selector(".pic-box .pic img").get_attribute("data-src")
            # 拼接完成的下载地址
            img_url = "http:" + img
            # print(img_url)
            # 通过requests下载这张图片
            sleep_time = random.random()*10
            time.sleep(sleep_time)
            # 文件夹需要手动创建好
            file = open(f"G:\\果汁杯-淘宝\\{n}.jpg", "wb")
            file.write(requests.get(img_url).content)
            print("下载图片" + str(n))
            n += 1

        # 翻页操作
        browser.find_element_by_css_selector('.wraper:nth-last-child(1) .next > a').click()
        time.sleep(2)
        count += 1
        # 爬取 4 页内容
        if count == 6:
            # file.close()
            break

    # 关闭浏览器
    browser.quit()


if __name__ == '__main__':
    functions()

下载Chromedriver

淘宝本身是有反爬虫机制的,需要使用到浏览器进行模拟人工爬取数据。
下载地址:http://npm.taobao.org/mirrors/chromedriver/86.0.4240.22/
在这里插入图片描述
在这里插入图片描述

将下载好的压缩包解压到你想要的某个文件夹中,并替换掉一下路径即可
在这里插入图片描述
之后运行脚本即可

原参考网址

本文章已经生成可运行项目
### 使用Python虫抓取淘宝商品列表中的图片 为了实现这一目标,可以采用Selenium WebDriver来处理动态加载的内容并模拟浏览器行为。以下是具体方法: #### 导入必要的库 首先需要安装并引入一些基本的库用于网络请求、HTML解析以及图像下载。 ```python from selenium import webdriver import time import os from urllib.request import urlretrieve ``` #### 设置Selenium WebDriver 配置ChromeDriver或其他支持的WebDriver路径,并启动浏览器实例。 ```python driver_path = 'path/to/chromedriver' # 替换为实际chromedriver位置 browser = webdriver.Chrome(executable_path=driver_path) url = "https://www.taobao.com" browser.get(url) time.sleep(3) # 等待页面完全加载 ``` #### 登录操作(如果必要) 部分网站可能要求登录才能查看某些资源,在这种情况下需先完成自动化的登录流程[^2]。 #### 定位商品图片元素 通过XPath或CSS选择器定位到包含商品缩略图链接的标签节点集合。 ```python image_elements = browser.find_elements_by_css_selector('.item .pic-box img') images_urls = [] for element in image_elements[:10]: # 只选取前十个作为例子 src = element.get_attribute('src') or element.get_attribute('data-src') images_urls.append(src.replace('_60x60q90.jpg', '')) # 去除尺寸限定符以获取原始大小图片URL print(images_urls) ``` #### 下载图片文件至本地目录 创建保存图片的目标文件夹,并依次访问每个图片地址将其存储下来。 ```python save_dir = './taobao_images/' if not os.path.exists(save_dir): os.makedirs(save_dir) for index, link in enumerate(images_urls): try: filename = f"{index}.jpg" full_path = os.path.join(save_dir, filename) urlretrieve(link, full_path) print(f'Downloaded {filename}') except Exception as e: print(e) ``` 关闭浏览器会话结束整个过程。 ```python browser.quit() ``` 上述代码片段展示了如何利用Python结合Selenium WebDriver从淘宝商品列表页中提取商品图片并保存到本地磁盘上。
评论 9
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值