Python + 淘宝 API 开发实战：自动化采集商品详情与 SKU 数据清洗指南

一、引言

在电商数据分析和运营中，获取淘宝商品的详细信息及 SKU（库存保有单位）数据是一项关键任务。Python 作为一种功能强大且易于使用的编程语言，结合淘宝 API 可以实现自动化采集商品详情和 SKU 数据。采集到的数据往往存在噪声和不规范的情况，因此还需要进行数据清洗。本文将详细介绍如何使用 Python 结合淘宝 API 完成商品详情和 SKU 数据的自动化采集，并对采集到的数据进行清洗。

二、前期准备

在开始之前，你需要完成以下准备工作：

1. 淘宝平台入驻：注册账号并创建应用，获取 api_key 和 api_secret，这是调用淘宝 API 的必要凭证。
2. 安装依赖库：使用 Python 的 requests 库发送 HTTP 请求，hashlib 库用于生成签名，pandas 库用于数据清洗。你可以使用以下命令进行安装：

pip install requests pandas

 

三、调用淘宝 API 进行商品详情和 SKU 数据采集

1. 签名生成

淘宝 API 要求对请求参数进行签名，以确保请求的合法性。以下是生成签名的 Python 代码：

import hashlib

def generate_sign(params, secret):
    sorted_params = sorted(params.items(), key=lambda x: x[0])
    sign_str = secret
    for key, value in sorted_params:
        sign_str += f"{key}{value}"
    sign_str += secret
    md5 = hashlib.md5()
    md5.update(sign_str.encode('utf-8'))
    return md5.hexdigest().upper()

 

2. 发送 API 请求

使用 requests 库发送请求获取商品详情和 SKU 数据：

import requests
import time

def get_product_info(app_key, app_secret, product_id):
    timestamp = time.strftime("%Y-%m-%d %H:%M:%S", time.localtime())
    params = {
        "method": "taobao.item.sku.get",  # 这里以获取 SKU 数据为例，可根据需求修改
        "app_key": app_key,
        "timestamp": timestamp,
        "format": "json",
        "v": "2.0",
        "sign_method": "md5",
        "num_iid": product_id
    }
    sign = generate_sign(params, app_secret)
    params["sign"] = sign
    url = "http://gw.api.taobao.com/router/rest"
    response = requests.get(url, params=params)
    return response.json()

 

3. 自动化采集

可以编写一个循环来批量采集多个商品的信息：

app_key = "your_app_key"
app_secret = "your_app_secret"
product_ids = [123456, 234567, 345678]  # 替换为实际的商品 ID 列表
all_product_info = []
for product_id in product_ids:
    info = get_product_info(app_key, app_secret, product_id)
    all_product_info.append(info)

 

四、数据清洗

1. 加载数据

使用 pandas 库将采集到的数据转换为 DataFrame 格式：

import pandas as pd

df = pd.DataFrame(all_product_info)

 2. 去除重复数据

df = df.drop_duplicates()

 

3. 处理缺失值

对于缺失值，可以选择删除包含缺失值的行或使用合适的值进行填充：

# 删除包含缺失值的行
df = df.dropna()

# 或者使用特定值填充缺失值
# df = df.fillna(value=0)

 

4. 数据类型转换

将需要的列转换为合适的数据类型，例如将价格列转换为浮点数类型：

if 'price' in df.columns:
    df['price'] = pd.to_numeric(df['price'], errors='coerce')

 五、完整代码示例

import hashlib
import requests
import time
import pandas as pd


def generate_sign(params, secret):
    sorted_params = sorted(params.items(), key=lambda x: x[0])
    sign_str = secret
    for key, value in sorted_params:
        sign_str += f"{key}{value}"
    sign_str += secret
    md5 = hashlib.md5()
    md5.update(sign_str.encode('utf-8'))
    return md5.hexdigest().upper()


def get_product_info(app_key, app_secret, product_id):
    timestamp = time.strftime("%Y-%m-%d %H:%M:%S", time.localtime())
    params = {
        "method": "taobao.item.sku.get",
        "app_key": app_key,
        "timestamp": timestamp,
        "format": "json",
        "v": "2.0",
        "sign_method": "md5",
        "num_iid": product_id
    }
    sign = generate_sign(params, app_secret)
    params["sign"] = sign
    url = "http://gw.api.taobao.com/router/rest"
    response = requests.get(url, params=params)
    return response.json()


app_key = "your_app_key"
app_secret = "your_app_secret"
product_ids = [123456, 234567, 345678]
all_product_info = []
for product_id in product_ids:
    info = get_product_info(app_key, app_secret, product_id)
    all_product_info.append(info)

df = pd.DataFrame(all_product_info)
df = df.drop_duplicates()
df = df.dropna()
if 'price' in df.columns:
    df['price'] = pd.to_numeric(df['price'], errors='coerce')

print(df)
    

 

六、总结

通过以上步骤，你可以使用 Python 结合淘宝 API 实现商品详情和 SKU 数据的自动化采集，并对采集到的数据进行清洗。在实际应用中，你可以根据具体需求调整 API 请求的参数和数据清洗的方法，以满足不同的业务场景。同时，要注意遵守淘宝开放平台的使用规则，避免因违规操作导致账号被封禁。