爬取淘宝商品链接的图片和视频-第三部分

循环爬取多个商品链接的图片链接,视频链接,结合前面的第一,二部分

import time
import pandas as pd
from AutomationTmallSingleProductLinkDetailData import sigle_link,sigle_link_data_writer_to_csv
import csv

# 多个商品链接文件 [读取文件路径]
shop_link_file=r".\data\自动化天猫1.0.csv"
# 读文件数据
data=pd.read_csv(shop_link_file)
# 商品链接详情数据文件【保存文件路径】
link_detail_data_file = r".\data\自动化天猫商品链接详情数据.csv"
# 创建文件对象,用于保存数据
csv_file = open(link_detail_data_file, mode='w', encoding='utf-8-sig', newline='')
# 字典写入的方法
csv_writer = csv.DictWriter(
    csv_file,
    fieldnames=['店铺', '商品链接', '商品标题', '图片', '视频']
)
# 写入表头
csv_writer.writeheader()
# 循环遍历每个商品链接
for link in data['商品链接']:
    if link != '无商品链接': # 排除无商品链接的数据
        print(f"准备获取的链接如下:")
        print(link)
        # 获取单个链接的数据
        sigle_link_data = sigle_link(link)
        print("该链接数据获取成功!!!解析成功!!!")
        print("链接数据如下:")
        print(sigle_link_data)
        # 写入单个链接的数据
        sigle_link_data_writer_to_csv(sigle_link_data, csv_writer)
        print("该链接数据成功写入csv文件!!!")
        time.sleep(5)  # 每爬取一个链接,休眠5秒,防止被反爬
print("全部商品链接数据处理完成!!!")
csv_file.close()
后续请关注查看剩余部分!!!

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值