循环爬取多个商品链接的图片链接,视频链接,结合前面的第一,二部分
import time
import pandas as pd
from AutomationTmallSingleProductLinkDetailData import sigle_link,sigle_link_data_writer_to_csv
import csv
# 多个商品链接文件 [读取文件路径]
shop_link_file=r".\data\自动化天猫1.0.csv"
# 读文件数据
data=pd.read_csv(shop_link_file)
# 商品链接详情数据文件【保存文件路径】
link_detail_data_file = r".\data\自动化天猫商品链接详情数据.csv"
# 创建文件对象,用于保存数据
csv_file = open(link_detail_data_file, mode='w', encoding='utf-8-sig', newline='')
# 字典写入的方法
csv_writer = csv.DictWriter(
csv_file,
fieldnames=['店铺', '商品链接', '商品标题', '图片', '视频']
)
# 写入表头
csv_writer.writeheader()
# 循环遍历每个商品链接
for link in data['商品链接']:
if link != '无商品链接': # 排除无商品链接的数据
print(f"准备获取的链接如下:")
print(link)
# 获取单个链接的数据
sigle_link_data = sigle_link(link)
print("该链接数据获取成功!!!解析成功!!!")
print("链接数据如下:")
print(sigle_link_data)
# 写入单个链接的数据
sigle_link_data_writer_to_csv(sigle_link_data, csv_writer)
print("该链接数据成功写入csv文件!!!")
time.sleep(5) # 每爬取一个链接,休眠5秒,防止被反爬
print("全部商品链接数据处理完成!!!")
csv_file.close()
后续请关注查看剩余部分!!!