深入淘宝天猫商品数据爬取：官方 API 及非官方接口实战指南

一、方案概述

本文提供两种爬取天猫商品数据的技术方案，并引入第三方平台以优化数据处理流程：

官方API方案：合法合规，需企业资质，推荐长期稳定使用
非官方接口方案：适合快速验证需求，需技术对抗反爬机制

二、官方API方案详解

1. 天猫开放平台接口

适用场景：企业级数据采集需求
接口优势：

• 数据完整度高（含商品详情、价格、评论等）

• 官方维护，稳定性强

• 支持分页和批量查询
  开发步骤：

• 注册开发者账号：open.taobao.com

• 申请接口权限：

  • taobao.item.get：商品详情

  • taobao.items.search：商品搜索

• 安装SDK：

     pip install alibabacloud-python-sdk-core

• 签名请求示例：

  from alibabacloud_tea_openapi import models as open_api_models
  from alibabacloud_tbk_dg import models as tbk_dg_models
  from alibabacloud_tbk_dg.client import Client
  
  config = open_api_models.Config(
      app_key="your_app_key",
      app_secret="your_app_secret",
      region_id="cn-hangzhou"
  )
  client = Client(config)
  
  request = tbk_dg_models.TbkItemInfoGetRequest(
      num_iid=654321  # 商品ID
  )
  response = client.tbk_item_info_get(request)
  print(response.body)

第三方平台的优势

• API管理：轻易云集成平台提供强大的API管理功能，可轻松实现接口的监控、限流和版本控制，确保官方API的稳定调用。

• 数据处理：平台支持对API返回数据的实时处理和转换，方便后续的数据分析和存储。

三、非官方接口实战

item_get-获得淘宝天猫商品详情

请求示例

curl    
-- 请求示例 url 默认请求参数已经URL编码处理
curl -i "https://api-服务器.cn/taobao/item_get/?key=<您自己的apiKey>&secret=<您自己的apiSecret>&num_iid=652874751412&is_promotion=1"

PHP

<?php

// 请求示例 url 默认请求参数已经URL编码处理
// 本示例代码未加密secret参数明文传输，若要加密请参考：https://open.onebound.cn/help/demo/sdk/demo-sign.php
$method = "GET";
$url = "https://api-服务器.cn/taobao/item_get/?key=<您自己的apiKey>&secret=<您自己的apiSecret>&num_iid=652874751412&is_promotion=1";
$curl = curl_init();
curl_setopt($curl, CURLOPT_CUSTOMREQUEST, $method);
curl_setopt($curl, CURLOPT_URL, $url);
curl_setopt($curl, CURLOPT_SSL_VERIFYHOST,FALSE);
curl_setopt($curl, CURLOPT_SSL_VERIFYPEER,FALSE);
curl_setopt($curl, CURLOPT_FAILONERROR, false);
curl_setopt($curl, CURLOPT_RETURNTRANSFER, true);
curl_setopt($curl, CURLOPT_HEADER, true);
curl_setopt($curl, CURLOPT_ENCODING, "gzip");
var_dump(curl_exec($curl));
?>

python

# coding:utf-8
"""
Compatible for python2.x and python3.x
requirement: pip install requests
"""
from __future__ import print_function
import requests
# 请求示例 url 默认请求参数已经做URL编码
url = "https://api-服务器.cn/taobao/item_get/?key=<您自己的apiKey>&secret=<您自己的apiSecret>&num_iid=652874751412&is_promotion=1"
headers = {
    "Accept-Encoding": "gzip",
    "Connection": "close"
}
if __name__ == "__main__":
    r = requests.get(url, headers=headers)
    json_obj = r.json()
    print(json_obj)

响应示例

{
    "item": {
      "num_iid": "520813250866",
      "title": "三刃木折叠刀过安检创意迷你钥匙扣钥匙刀军刀随身多功能小刀包邮",
      "desc_short": "",
      "price": 25.8,
      "total_price": 0,
      "suggestive_price": 0,
      "orginal_price": "25.80",
      "nick": "欢乐购客栈",
      "num": "832",
      "min_num": 0,
      "detail_url": "http://item.taobao.com/item.htm?id=520813250866",
      "pic_url": "//img.alicdn.com/imgextra/i4/2596264565